這篇文章主要講解了“如何使用HBase”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“如何使用HBase”吧！

花山ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18980820575（備注：SSL證書合作）期待與您的合作！

HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，適用于結(jié)構(gòu)化的存儲，底層依賴于Hadoop的HDFS，利用HBase技術可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。因此，HBase被廣泛使用在大數(shù)據(jù)存儲的解決方案中。

為何使用HBase

(1) HBase的優(yōu)點：

• 列可以動態(tài)增加，并且列為空就不存儲數(shù)據(jù)，節(jié)省存儲空間

• HBase自動切分數(shù)據(jù)，使得數(shù)據(jù)存儲自動具有水平scalability

• HBase可以提供高并發(fā)讀寫操作的支持

(2) HBase的缺點：

• 不能支持條件查詢，只支持按照Row key來查詢

• HBase并不適合傳統(tǒng)的事物處理程序或關聯(lián)分析，不支持復雜查詢，一定程度上限制了它的使用，但是用它做數(shù)據(jù)存儲的優(yōu)勢也同樣非常明顯

因為HBase存儲的是松散的數(shù)據(jù)，所以如果你的應用程序中，數(shù)據(jù)表每一行的結(jié)構(gòu)是有差別的，那么可以考慮使用HBase。

因為HBase的列可以動態(tài)增加，并且列為空就不存儲數(shù)據(jù)，所以如果你需要經(jīng)常追加字段，且大部分字段是NULL值的，那可以考慮HBase。

因為HBase可以根據(jù)Rowkey提供高效的查詢，所以如果你的數(shù)據(jù)(包括元數(shù)據(jù)、消息、二進制數(shù)據(jù)等)都有著同一個主鍵，或者你需要通過鍵來訪問和修改數(shù)據(jù)，使用HBase是一個很好地選擇。

二、如何使用HBase

場景一：賣家操作日志

賣家操作日志，顧名思義是用來記錄商家操作的系統(tǒng)，從而可以保證商家可以精確查詢自己的各種操作。京東有幾十萬的商家時時刻刻的進行著各種操作，因此賣家操作日志的特點是：數(shù)據(jù)量大、實時性強、增多查少。

▲圖一

▲圖二

做賣家操作日志初期，將所有的操作日志存放在ES中，操作日志的數(shù)據(jù)量是非常大的，但當時所能申請到的ES資源有限。當把大量的數(shù)據(jù)存儲到有限的ES集群中時便導致了性能的下降。在這種情況下，選擇了只在ES集群中存儲最近三個月的數(shù)據(jù)，對其提供靈活的查詢，而長期的數(shù)據(jù)存儲使用HBase來進行。這樣便可以實現(xiàn)對近期操作靈活展現(xiàn)，對長期數(shù)據(jù)也有精確備份。

場景二：京麥消息日志的存儲

京麥消息日志的存儲是屬于京麥筋斗云系統(tǒng)(用于打造京麥消息生態(tài)系統(tǒng)閉環(huán))不可或缺的一部分，其中包含消息的全鏈路追蹤以及消息的統(tǒng)計分析。京麥消息每天都會有幾千萬的消息量，如何對消息進行追蹤和統(tǒng)計便成為了一個至關重要的問題。

消息追蹤要求實時性、多維度精確查詢，因此選擇將最近一周的消息日志存儲在ES。統(tǒng)計分析要求有足夠多的數(shù)據(jù)，因此在將數(shù)據(jù)存儲在ES中的同時也存儲在HBase中一份。最終再定期將HBase中的數(shù)據(jù)導入到京東的數(shù)據(jù)集市中，這樣便可以很方便的對京麥消息進行統(tǒng)計分析。

HBase的數(shù)據(jù)結(jié)構(gòu)

▲HBase數(shù)據(jù)的概念視圖

要使用HBase首先要了解HBase的數(shù)據(jù)結(jié)構(gòu)：

HBase會存儲系列的行記錄，行記錄有三個基本類型的定義：Row Key、Time Stamp、Column Family。

1. Row Key

與NoSql數(shù)據(jù)庫一樣，Row Key是用來檢索記錄的主鍵。訪問HBase table中的行，只有三種方式：

• 通過單個Row Key訪問

• 通過Row Key的range全表掃描

• Row Key可以是任意字符串(***長度是64KB，實際應用中長度一般為 10 ~ 100bytes)，在HBase內(nèi)部，Row  Key保存為字節(jié)數(shù)組

在存儲時，數(shù)據(jù)按照Row Key的字典序(byte  order)排序存儲。設計Key時，要充分排序存儲這個特性，將經(jīng)常一起讀取的行存儲到一起(位置相關性)。

2. Column Family

HBase表中每個列都必須屬于某個列族，列族必須作為表模式定義的一部分預先給出(有點像關系型數(shù)據(jù)庫中的列名，定義完一般情況下就不會再去修改)。

列名以列族作為前綴，每個列族都可以有多個列成員。新的列族成員(也就是列)可以隨后按需，動態(tài)加入。

Hbase把同一列族里面的數(shù)據(jù)存儲在同一目錄下，由幾個文件保存。

3. Time Stamp

在HBase每個cell存儲單元對同一份數(shù)據(jù)有多個版本，根據(jù)唯一的時間戳來區(qū)分每個版本之間的差異，不同版本的數(shù)據(jù)按照時間倒序排序，***的數(shù)據(jù)版本排在最前面。

三、簡述HBase的架構(gòu)原理

1. HBase的模塊

(1) Master

HBase Master用于協(xié)調(diào)多個Region Server，偵測各個Region Server之間的狀態(tài)，并平衡Region  Server之間的負載。HBase Master還有一個職責就是負責分配Region給Region Server。HBase允許多個Master  節(jié)點共存，但是這需要Zookeeper的幫助。不過當多個Master節(jié)點共存時，只有一個Master是提供服務的，其他的Master節(jié)點處于待命的狀態(tài)。當正在工作的Master節(jié)點宕機時，其他的Master則會接管  HBase 的集群。

(2)Region Server

對于一個Region Server而言，其包括了多個Region。Region Server的作用只是管理表格，以及實現(xiàn)讀寫操作。Client  直接連接Region  Server，并通信獲取HBase中的數(shù)據(jù)。對于Region而言，則是真實存放HBase數(shù)據(jù)的地方，也就說Region是HBase可用性和分布式的基本單位。如果當一個表格很大，并由多個CF組成時，那么表的數(shù)據(jù)將存放在多個Region之間，并且在每個Region中會關聯(lián)多個存儲的單元(Store)。

(3)Zookeeper

對于HBase而言，Zookeeper的作用是至關重要的。首先Zookeeper是作為HBase  Master的HA解決方案。也就是說，是Zookeeper保證了至少有一個HBase  Master處于運行狀態(tài)。并且Zookeeper負責Region和Region  Server的注冊。其實Zookeeper發(fā)展到目前為止，已經(jīng)成為了分布式大數(shù)據(jù)框架中容錯性的標準框架。不光是HBase，幾乎所有的分布式大數(shù)據(jù)相關的開源框架，都依賴于Zookeeper實現(xiàn)HA。

2. HBase的原理

首先需要知道HBase的集群是通過Zookeeper來進行機器之前的協(xié)調(diào)，也就是說HBase Master與Region  Server之間的關系是依賴Zookeeper來維護。當一個Client需要訪問HBase集群時，Client需要先和Zookeeper來通信，然后才會找到對應的Region  Server。每一個 Region  Server管理著很多個Region。對于HBase來說，Region是HBase并行化的基本單元。因此，數(shù)據(jù)也都存儲在Region中。

這里需要特別注意，每一個Region都只存儲一個Column Family的數(shù)據(jù)，并且是該CF中的一段(按Row  的區(qū)間分成多個Region)。Region所能存儲的數(shù)據(jù)大小是有上限的，當達到該上限時(Threshold)，Region會進行分裂，數(shù)據(jù)也會分裂到多個Region中，這樣便可以提高數(shù)據(jù)的并行化，以及提高數(shù)據(jù)的容量。

每個Region包含著多個Store對象。每個Store包含一個MemStore，和一個或多個HFile。MemStore便是數(shù)據(jù)在內(nèi)存中的實體，并且一般都是有序的。當數(shù)據(jù)向Region寫入的時候，會先寫入MemStore。當MemStore中的數(shù)據(jù)需要向底層文件系統(tǒng)傾倒(Dump)時(例如MemStore中的數(shù)據(jù)體積到達MemStore配置的***值)，Store便會創(chuàng)建StoreFile，而StoreFile就是對HFile一層封裝。所以MemStore中的數(shù)據(jù)會最終寫入到HFile中，也就是磁盤IO。由于HBase底層依靠HDFS，因此HFile都存儲在HDFS之中。這便是整個HBase工作的原理簡述。

四、使用HBase時應注意的問題

基于HBase的系統(tǒng)設計與開發(fā)中，需要考慮的因素不同于關系型數(shù)據(jù)庫，HBase模式本身很簡單，但賦予你更多調(diào)整的空間，有一些模式寫性能很好，但讀取數(shù)據(jù)時表現(xiàn)不好，或者正好相反，類似傳統(tǒng)數(shù)據(jù)庫基于范式的OR建模，在實際項目中考慮HBase設計模式是，需要從以下幾方面內(nèi)容著手：

• 這個表應該有多少個列簇

• 列簇使用什么數(shù)據(jù)

• 每個列簇應有多少個列

• 列名應該是什么，盡管列名不必在建表時定義，但是讀寫數(shù)據(jù)時是需要的

• 單元應該存放什么數(shù)據(jù)

• 每個單元存儲什么時間版本

• 行健結(jié)構(gòu)是什么，應該包括什么信息

感謝各位的閱讀，以上就是“如何使用HBase”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對如何使用HBase這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

當前題目：如何使用HBase
轉(zhuǎn)載注明：http://chinadenli.net/article18/jpscdp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導航、外貿(mào)網(wǎng)站建設、網(wǎng)站排名、自適應網(wǎng)站、電子商務、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)