北大青鳥設(shè)計(jì)培訓(xùn)：Hbase知識(shí)點(diǎn)總結(jié)？

hbase概念:??非結(jié)構(gòu)化的分布式的面向列存儲(chǔ)非關(guān)系型的開源的數(shù)據(jù)庫(kù)，根據(jù)谷歌的三大論文之一的bigtable??高寬厚表??作用:??為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。

我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站制作、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、上栗ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的上栗網(wǎng)站制作公司

能干什么:??存儲(chǔ)大量結(jié)果集數(shù)據(jù)，低延遲的隨機(jī)查詢。

sql:??結(jié)構(gòu)化查詢語言??nosql:??非關(guān)系型數(shù)據(jù)庫(kù)，列存儲(chǔ)和文檔存儲(chǔ)(查詢低延遲),hbase是nosql的一個(gè)種類，其特點(diǎn)是列式存儲(chǔ)。

非關(guān)系型數(shù)據(jù)庫(kù)--列存儲(chǔ)(hbase)??非關(guān)系型數(shù)據(jù)庫(kù)--文檔存儲(chǔ)(MongoDB)??非關(guān)系型數(shù)據(jù)庫(kù)--內(nèi)存式存儲(chǔ)(redis)??非關(guān)系型數(shù)據(jù)庫(kù)--圖形模型(graph)??hive和hbase區(qū)別???Hive的定位是數(shù)據(jù)倉(cāng)庫(kù)，雖然也有增刪改查，但其刪改查對(duì)應(yīng)的是整張表而不是單行數(shù)據(jù)，查詢的延遲較高。

其本質(zhì)是更加方便的使用mr的威力來進(jìn)行離線分析的一個(gè)數(shù)據(jù)分析工具。

HBase的定位是hadoop的數(shù)據(jù)庫(kù)，電腦培訓(xùn)發(fā)現(xiàn)是一個(gè)典型的Nosql，所以HBase是用來在大量數(shù)據(jù)中進(jìn)行低延遲的隨機(jī)查詢的。

hbase運(yùn)行方式:??standalonedistrubited??單節(jié)點(diǎn)和偽分布式???單節(jié)點(diǎn):單獨(dú)的進(jìn)程運(yùn)行在同一臺(tái)機(jī)器上??hbase應(yīng)用場(chǎng)景:??存儲(chǔ)海量數(shù)據(jù)低延遲查詢數(shù)據(jù)??hbase表由多行組成??hbase行一行在hbase中由行健和一個(gè)或多個(gè)列的值組成，按行健字母順序排序的存儲(chǔ)。

hbase的作用

HBase 是典型的 NoSQL 數(shù)據(jù)庫(kù)，通常被描述成稀疏的、分布式的、持久化的，由行鍵、列鍵和時(shí)間戳進(jìn)行索引的多維有序映射數(shù)據(jù)庫(kù)，主要用來存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。因?yàn)?HBase 基于 Hadoop 的 HDFS 完成分布式存儲(chǔ)，以及 MapReduce 完成分布式并行計(jì)算，所以它的一些特點(diǎn)與 Hadoop 相同，依靠橫向擴(kuò)展，通過不斷增加性價(jià)比高的商業(yè)服務(wù)器來增加計(jì)算和存儲(chǔ)能力。

HBase 雖然基于 Bigtable 的開源實(shí)現(xiàn)，但它們之間還是有很多差別的，Bigtable 經(jīng)常被描述成鍵值數(shù)據(jù)庫(kù)，而 HBase 則是面向列存儲(chǔ)的分布式數(shù)據(jù)庫(kù)。

下面介紹 HBase 具備的顯著特性，這些特性讓 HBase 成為當(dāng)前和未來最實(shí)用的數(shù)據(jù)庫(kù)之一。

容量巨大

HBase 的單表可以有百億行、百萬列，可以在橫向和縱向兩個(gè)維度插入數(shù)據(jù)，具有很大的彈性。

當(dāng)關(guān)系型數(shù)據(jù)庫(kù)的單個(gè)表的記錄在億級(jí)時(shí)，查詢和寫入的性能都會(huì)呈現(xiàn)指數(shù)級(jí)下降，這種龐大的數(shù)據(jù)量對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)來說是一種災(zāi)難，而 HBase 在限定某個(gè)列的情況下對(duì)于單表存儲(chǔ)百億甚至更多的數(shù)據(jù)都沒有性能問題。

HBase 采用 LSM 樹作為內(nèi)部數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，這種結(jié)構(gòu)會(huì)周期性地將較小文件合并成大文件，以減少對(duì)磁盤的訪問。

擴(kuò)展性強(qiáng)

HBase 工作在 HDFS 之上，理所當(dāng)然地支持分布式表，也繼承了 HDFS 的可擴(kuò)展性。HBase 的擴(kuò)展是橫向的，橫向擴(kuò)展是指在擴(kuò)展時(shí)不需要提升服務(wù)器本身的性能，只需添加服務(wù)器到現(xiàn)有集群即可。

HBase 表根據(jù) Region 大小進(jìn)行分區(qū)，分別存在集群中不同的節(jié)點(diǎn)上，當(dāng)添加新的節(jié)點(diǎn)時(shí)，集群就重新調(diào)整，在新的節(jié)點(diǎn)啟動(dòng) HBase 服務(wù)器，動(dòng)態(tài)地實(shí)現(xiàn)擴(kuò)展。這里需要指出，HBase 的擴(kuò)展是熱擴(kuò)展，即在不停止現(xiàn)有服務(wù)的前提下，可以隨時(shí)添加或者減少節(jié)點(diǎn)。

高可靠性

HBase 運(yùn)行在 HDFS 上，HDFS 的多副本存儲(chǔ)可以讓它在岀現(xiàn)故障時(shí)自動(dòng)恢復(fù)，同時(shí) HBase 內(nèi)部也提供 WAL 和 Replication 機(jī)制。

WAL（Write-Ahead-Log）預(yù)寫日志是在 HBase 服務(wù)器處理數(shù)據(jù)插入和刪除的過程中用來記錄操作內(nèi)容的日志，保證了數(shù)據(jù)寫入時(shí)不會(huì)因集群異常而導(dǎo)致寫入數(shù)據(jù)的丟失；而 Replication 機(jī)制是基于日志操作來做數(shù)據(jù)同步的。

什么是nosql

nosql是not only sql的意思。是近今年新發(fā)展起來的存儲(chǔ)系統(tǒng)。當(dāng)前使用最多的是key-value模型，用于處理超大規(guī)模的數(shù)據(jù)。

以下是摘自百度百科中的一部分

NoSQL 是非關(guān)系型數(shù)據(jù)存儲(chǔ)的廣義定義。它打破了長(zhǎng)久以來關(guān)系型數(shù)據(jù)庫(kù)與ACID理論大一統(tǒng)的局面。NoSQL 數(shù)據(jù)存儲(chǔ)不需要固定的表結(jié)構(gòu)，通常也不存在連接操作。在大數(shù)據(jù)存取上具備關(guān)系型數(shù)據(jù)庫(kù)無法比擬的性能優(yōu)勢(shì)。該術(shù)語在 2009 年初得到了廣泛認(rèn)同。

當(dāng)今的應(yīng)用體系結(jié)構(gòu)需要數(shù)據(jù)存儲(chǔ)在橫向伸縮性上能夠滿足需求。而 NoSQL 存儲(chǔ)就是為了實(shí)現(xiàn)這個(gè)需求。Google 的BigTable與Amazon的Dynamo是非常成功的商業(yè) NoSQL 實(shí)現(xiàn)。一些開源的 NoSQL 體系，如Facebook 的Cassandra， Apache 的HBase，也得到了廣泛認(rèn)同。從這些NoSQL項(xiàng)目的名字上看不出什么相同之處：Hadoop、Voldemort、Dynomite，還有其它很多。

NoSQL與關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)理念比較

關(guān)系型數(shù)據(jù)庫(kù)中的表都是存儲(chǔ)一些格式化的數(shù)據(jù)結(jié)構(gòu)，每個(gè)元組字段的組成都一樣，即使不是每個(gè)元組都需要所有的字段，但數(shù)據(jù)庫(kù)會(huì)為每個(gè)元組分配所有的字段，這樣的結(jié)構(gòu)可以便于表與表之間進(jìn)行連接等操作，但從另一個(gè)角度來說它也是關(guān)系型數(shù)據(jù)庫(kù)性能瓶頸的一個(gè)因素。而非關(guān)系型數(shù)據(jù)庫(kù)以鍵值對(duì)存儲(chǔ)，它的結(jié)構(gòu)不固定，每一個(gè)元組可以有不一樣的字段，每個(gè)元組可以根據(jù)需要增加一些自己的鍵值對(duì)，這樣就不會(huì)局限于固定的結(jié)構(gòu)，可以減少一些時(shí)間和空間的開銷。

HBase是什么呢，都有哪些特點(diǎn)呢？

Hbase是一種NoSQL數(shù)據(jù)庫(kù)，這意味著它不像傳統(tǒng)的RDBMS數(shù)據(jù)庫(kù)那樣支持SQL作為查詢語言。Hbase是一種分布式存儲(chǔ)的數(shù)據(jù)庫(kù)，技術(shù)上來講，它更像是分布式存儲(chǔ)而不是分布式數(shù)據(jù)庫(kù)，它缺少很多RDBMS系統(tǒng)的特性，比如列類型，輔助索引，觸發(fā)器，和高級(jí)查詢語言等待

那Hbase有什么特性呢？如下：

強(qiáng)讀寫一致，但是不是“最終一致性”的數(shù)據(jù)存儲(chǔ)，這使得它非常適合高速的計(jì)算聚合

自動(dòng)分片，通過Region分散在集群中，當(dāng)行數(shù)增長(zhǎng)的時(shí)候，Region也會(huì)自動(dòng)的切分和再分配

自動(dòng)的故障轉(zhuǎn)移

Hadoop/HDFS集成，和HDFS開箱即用，不用太麻煩的銜接

豐富的“簡(jiǎn)潔，高效”API，Thrift/REST API，Java API

塊緩存，布隆過濾器，可以高效的列查詢優(yōu)化

操作管理，Hbase提供了內(nèi)置的web界面來操作，還可以監(jiān)控JMX指標(biāo)

什么時(shí)候用Hbase？

Hbase不適合解決所有的問題：

首先數(shù)據(jù)庫(kù)量要足夠多，如果有十億及百億行數(shù)據(jù)，那么Hbase是一個(gè)很好的選項(xiàng)，如果只有幾百萬行甚至不到的數(shù)據(jù)量，RDBMS是一個(gè)很好的選擇。因?yàn)閿?shù)據(jù)量小的話，真正能工作的機(jī)器量少，剩余的機(jī)器都處于空閑的狀態(tài)

其次，如果你不需要輔助索引，靜態(tài)類型的列，事務(wù)等特性，一個(gè)已經(jīng)用RDBMS的系統(tǒng)想要切換到Hbase，則需要重新設(shè)計(jì)系統(tǒng)。

最后，保證硬件資源足夠，每個(gè)HDFS集群在少于5個(gè)節(jié)點(diǎn)的時(shí)候，都不能表現(xiàn)的很好。因?yàn)镠DFS默認(rèn)的復(fù)制數(shù)量是3，再加上一個(gè)NameNode。

Hbase在單機(jī)環(huán)境也能運(yùn)行，但是請(qǐng)?jiān)陂_發(fā)環(huán)境的時(shí)候使用。

內(nèi)部應(yīng)用

存儲(chǔ)業(yè)務(wù)數(shù)據(jù):車輛GPS信息，司機(jī)點(diǎn)位信息，用戶操作信息，設(shè)備訪問信息。。。

存儲(chǔ)日志數(shù)據(jù):架構(gòu)監(jiān)控?cái)?shù)據(jù)（登錄日志，中間件訪問日志，推送日志，短信郵件發(fā)送記錄。。。），業(yè)務(wù)操作日志信息

存儲(chǔ)業(yè)務(wù)附件：UDFS系統(tǒng)存儲(chǔ)圖像，視頻，文檔等附件信息

不過在公司使用的時(shí)候，一般不使用原生的Hbase API，使用原生的API會(huì)導(dǎo)致訪問不可監(jiān)控，影響系統(tǒng)穩(wěn)定性，以致于版本升級(jí)的不可控。

HFile

HFile是Hbase在HDFS中存儲(chǔ)數(shù)據(jù)的格式，它包含多層的索引，這樣在Hbase檢索數(shù)據(jù)的時(shí)候就不用完全的加載整個(gè)文件。索引的大小(keys的大小，數(shù)據(jù)量的大小)影響block的大小，在大數(shù)據(jù)集的情況下，block的大小設(shè)置為每個(gè)RegionServer 1GB也是常見的。

探討數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方式，其實(shí)就是探討數(shù)據(jù)如何在磁盤上進(jìn)行有效的組織。因?yàn)槲覀兺ǔＲ匀绾胃咝ёx取和消費(fèi)數(shù)據(jù)為目的，而不是數(shù)據(jù)存儲(chǔ)本身。

Hfile生成方式

起初，HFile中并沒有任何Block，數(shù)據(jù)還存在于MemStore中。

Flush發(fā)生時(shí)，創(chuàng)建HFile Writer，第一個(gè)空的Data Block出現(xiàn)，初始化后的Data Block中為Header部分預(yù)留了空間，Header部分用來存放一個(gè)Data Block的元數(shù)據(jù)信息。

而后，位于MemStore中的KeyValues被一個(gè)個(gè)append到位于內(nèi)存中的第一個(gè)Data Block中：

注：如果配置了Data Block Encoding，則會(huì)在Append KeyValue的時(shí)候進(jìn)行同步編碼，編碼后的數(shù)據(jù)不再是單純的KeyValue模式。Data Block Encoding是HBase為了降低KeyValue結(jié)構(gòu)性膨脹而提供的內(nèi)部編碼機(jī)制。

baseinfo在hbase中什么意思

hbase是一種Nosql的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。具有可靠性，高能性，列存儲(chǔ)，可伸縮的征，可以對(duì)大型數(shù)據(jù)進(jìn)行實(shí)時(shí)、隨機(jī)的讀寫訪問。

hbase是一個(gè)分布式的列式存儲(chǔ)數(shù)據(jù)庫(kù) nosql的數(shù)據(jù)庫(kù)，no sql hbase不支持標(biāo)準(zhǔn)sql 不支持sql語句的，基于hbase之上對(duì)外提供標(biāo)準(zhǔn)sql的組件 phoenix，ont only sql。

當(dāng)數(shù)據(jù)量過于龐大的時(shí)候 數(shù)據(jù)的快速查詢是很難實(shí)現(xiàn)的GFS-------分布式存儲(chǔ)的MAPERREDUCE------分布式計(jì)算的BIGTABLE------分布式數(shù)據(jù)庫(kù) 快速查詢。

文章名稱：hbasenosql的簡(jiǎn)單介紹
文章分享：http://chinadenli.net/article18/dsescgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、網(wǎng)站內(nèi)鏈、搜索引擎優(yōu)化、用戶體驗(yàn)、全網(wǎng)營(yíng)銷推廣、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)