HBase基礎(chǔ)知識，面向列的實(shí)時分布式數(shù)據(jù)庫

---

1、HBase定義

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（File System）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。

2、HBase特性：

• 高可靠性
• 高效性
• 面向列
• 可伸縮
• 可在廉價PC Server搭建大規(guī)模結(jié)構(gòu)化存儲集群

3、HBase與RDBMS的對比

HBase適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。介于Map Entry 和 DB row之間的一種數(shù)據(jù)存儲方式。而RDBMS是一個遵循“Codd的十二條規(guī)律”的數(shù)據(jù)庫。主要區(qū)別如下：

數(shù)據(jù)類型： HBase只有簡單的字符串類型，它只保存字符串所有的類型都是交給用戶自己處理。關(guān)系型數(shù)據(jù)庫可以選擇類型

數(shù)據(jù)操作： HBase操作只有很簡單的插入、查詢等操作，表與表之間是分離的，沒有join

存儲模式： HBase基于列存儲，每個列族由幾個文件保存，不同列族的文件是分離的。傳統(tǒng)的關(guān)系數(shù)據(jù)庫是基于表格結(jié)構(gòu)和行模式保存的

數(shù)據(jù)維護(hù)： HBase更新操作時，舊的版本仍然保留，實(shí)際上時插入了新數(shù)據(jù)。傳統(tǒng)關(guān)系數(shù)據(jù)庫是替換修改

可伸縮性： HBase能夠容易的增加或者減少硬件數(shù)量

4、數(shù)據(jù)模型

組成部件說明：

Row Key：Table主鍵行鍵Table中記錄按照Row Key排序；

Timestamp：每次對數(shù)據(jù)操作對應(yīng)的時間戳，也即數(shù)據(jù)的version number；

Column Family： 列簇，一個table在水平方向有一個或者多個列簇，列簇可由任意多個Column組成，列簇支持動態(tài)擴(kuò)展，無須預(yù)定義數(shù)量及類型，二進(jìn)制存儲，用戶需自行進(jìn)行類型轉(zhuǎn)換。

5、系統(tǒng)架構(gòu)

    組成部件說明

Client：
使用HBase RPC機(jī)制與HMaster和HRegionServer進(jìn)行通信
Client與HMaster進(jìn)行通信進(jìn)行管理類操作
Client與HRegionServer進(jìn)行數(shù)據(jù)讀寫類操作　

Zookeeper：
Zookeeper Quorum存儲-ROOT-表地址、HMaster地址
HRegionServer把自己以Ephedral方式注冊到Zookeeper中，HMaster隨時感知各個HRegionServer的健康狀況
Zookeeper避免HMaster單點(diǎn)問題

HMaster：
HMaster沒有單點(diǎn)問題，HBase中可以啟動多個HMaster，通過Zookeeper的Master Election機(jī)制保證總有一個Master在運(yùn)行
主要負(fù)責(zé)Table和Region的管理工作：
1 管理用戶對表的增刪改查操作
2 管理HRegionServer的負(fù)載均衡，調(diào)整Region分布
3 Region Split后，負(fù)責(zé)新Region的分布
4 在HRegionServer停機(jī)后，負(fù)責(zé)失效HRegionServer上Region遷移

HRegionServer：
HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)

6、表的設(shè)計(jì)

在表結(jié)構(gòu)設(shè)計(jì)時，HBase里有tall narrow和flat wide兩種設(shè)計(jì)模式，前者行多列少，整個表結(jié)構(gòu)高且窄；后者行少列多，表結(jié)構(gòu)平且寬；但是由于HBase只能在行的邊界做split，因此如果選擇flat wide的結(jié)構(gòu)，那么在特殊行變的超級大（超過file或region的上限）時，那么這種行為會導(dǎo)致compaction，而這樣做是要把row讀內(nèi)存的~~因此，強(qiáng)烈推薦使用tall narrow模式設(shè)計(jì)表結(jié)構(gòu)，這樣結(jié)構(gòu)更趨近于keyvalue，性能更好。

本文參考 轉(zhuǎn)載請注明轉(zhuǎn)載自慧都控件網(wǎng)

慧都控件網(wǎng)年末大促銷，各種優(yōu)惠等著你，詳情請直接點(diǎn)擊查看