一、HBase 概述

1.1 HBase 是什么

HBase是一個(gè)高可靠、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，利用HBase技術(shù)可在廉價(jià)的PC Server上搭建大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

HBase是Google BigTable的開源實(shí)現(xiàn)，與Google的BigIable利用GFS作為其文件存儲(chǔ)系統(tǒng)類似，HBase則利用Hadoop的HDFS作為其文件存儲(chǔ)系統(tǒng)。Google運(yùn)行 MapReduce 來處理Bigtable中的海量數(shù)據(jù)，而HBase則利用 Hadoop的MapReduce來處理HBase中的海量數(shù)據(jù)Google Bigtable利用Chubby作為協(xié)同服務(wù)，而HBase則利用Zookeeper作為協(xié)同服務(wù)。

HBase 的特點(diǎn)

• 容量巨大:單表可以有百億行、數(shù)百萬列。
• 無模式:同一個(gè)表的不同行可以有截然不同的列。
• 面向列:HBase是面向列的存儲(chǔ)和權(quán)限控制，并支持列獨(dú)立索引。
• 稀疏性:表可以設(shè)計(jì)得非常稀疏，值為空的列并不占用存儲(chǔ)空間。
• 擴(kuò)展性:HBase底層文件存儲(chǔ)依賴HDFS，它天生具備可擴(kuò)展性。
• 高可靠性:HBase提供了預(yù)寫日志(WAL)和副本(Replication)機(jī)制，防止數(shù)據(jù)丟失。
• 高性能:底層的LSM(Log-Structured Merge Tree)數(shù)據(jù)結(jié)構(gòu)和RowKey有序排列等架構(gòu)上的獨(dú)特設(shè)計(jì)，使得HBase具備非常高的寫入性能。

二、HBase 模型及架構(gòu)

2.1 HBase 邏輯模型

2.2 HBase 數(shù)據(jù)模型

• 表
  HBase是一種列式存儲(chǔ)的分布式數(shù)據(jù)庫，其核心概念是表(Table)。與傳統(tǒng)關(guān)系型數(shù)據(jù)庫一樣，HBase 的表也是由行和列組成，但 Hase同一列可以存儲(chǔ)不同時(shí)刻的值，同時(shí)多個(gè)列可以組成一個(gè)列簇(Column Family)，這種組織形式主要是出于HBase存取性能的考慮。

• 行鍵
  Rowkey 既是 HBase 表的行鍵，也是 HBase 表的主鍵。HBase 表中的記錄是按照RowKey的字典順序進(jìn)行存儲(chǔ)的。

  在HBase中，為了高效地檢索數(shù)據(jù)，需要設(shè)計(jì)良好的Rowkey來提高查詢性能。因?yàn)镽owkey 會(huì)被幾余存儲(chǔ)，所以長(zhǎng)度不宜過長(zhǎng)，Rowkey 過長(zhǎng)將會(huì)占用大量的存儲(chǔ)空間同時(shí)會(huì)降低檢索效率。其次 Rowkey 應(yīng)該盡量均勻分布，避免產(chǎn)生熱點(diǎn)問題(大量用戶訪問集中在一個(gè)或極少數(shù)節(jié)點(diǎn)，從而造成單臺(tái)節(jié)點(diǎn)超出自身承受能力)。另外需要保證Rowkey的唯一性。

• 列簇
  HBase表中的每個(gè)列都?xì)w屬于某個(gè)列簇，一個(gè)列簇中的所有列成員有著相同的前綴。比如,列anchor:cnnsi.com和anchor:my.look.ca都是列簇anchor的成員。列簇是表的schema的-部分，必須在使用表之前定義列簇，但列卻不是必需的，寫數(shù)據(jù)的時(shí)候可以動(dòng)態(tài)加入。一般將經(jīng)常一起查詢的列放在一個(gè)列簇中，合理劃分列簇將減少查詢時(shí)加載到緩存的數(shù)據(jù)，提高查詢效率，但也不能有太多的列簇，因?yàn)榭缌写卦L問是非常低效的。

• 單元格
  HBase中通過RowKey和Column確定的一個(gè)存儲(chǔ)單元稱為單元格(Ce11)。每個(gè)單元格都保存著同一份數(shù)據(jù)的多個(gè)版本，不同時(shí)間版本的數(shù)據(jù)按照時(shí)間順序倒序排序，最新時(shí)間的數(shù)據(jù)排在最前面，時(shí)間截是 64 位的整數(shù)，可以由客戶端在寫入數(shù)據(jù)時(shí)賦值，也可以由RegionServer自動(dòng)賦值。

2.3 HBase 物理模型

2.3.1 列簇物理模型

2.3.2 Rowkey 字段排序

2.3.3 Region 存儲(chǔ)到不同節(jié)點(diǎn)

一個(gè)表包含不同的Region，一個(gè) Region 包含不同列簇，一個(gè)列簇包含不同的列

2.3.4 Region 結(jié)構(gòu)

在 Region 中，數(shù)據(jù)先寫在內(nèi)存 memStore，然后再保存在磁盤文件(HDFS)中；一個(gè) Store 表示一個(gè)列簇

2.4 HBase 基本架構(gòu)

• HMaster：管理表的增刪改查、負(fù)責(zé)負(fù)載均衡
• Zookeeper：監(jiān)聽HRegionServer的上下線，HMaster主備切換
• HRegionServer：負(fù)載客戶端的讀寫請(qǐng)求、預(yù)寫日志、管理 HRegion
• HRegion：管理 Store，寫入內(nèi)存，寫入磁盤文件
• HFile：內(nèi)容寫入 HDFS

三、搭建 HBase 分布式集群

3.1 HBase 集群規(guī)劃

HBase底層數(shù)據(jù)存儲(chǔ)在HDFS之上，所以構(gòu)建HBase集群之前需要確保HDFS集群正常運(yùn)行。為了確保數(shù)據(jù)的本地性，HBase集群安裝選擇跟HDFS集群共享節(jié)點(diǎn)。

3.1.1 主機(jī)規(guī)劃

仍然選擇hadoop1、hadoop2和hadoop3節(jié)點(diǎn)安裝部署HBase集群，那么相關(guān)角色規(guī)劃如下：

	hadoop1	hadoop2	hadoop3
NameNode	是	是
DataNode	是	是	是
Zookeeper	是	是	是
Hmaster	是	是
HRegionServer	是	是	是

3.1.2 軟件規(guī)劃

HBase集群的安裝需要考慮與Hadoop版本的兼容性問題，否則HBase可能無法正常運(yùn)行，其相關(guān)軟件版本如下：

軟件	版本	位數(shù)	說明
JDK	1.8	64	穩(wěn)定
Zookeeper	3.8.4		穩(wěn)定
hadoop	2.10.2		穩(wěn)定
HBase	2.1.0		與Hadoop兼容

3.1.3 用戶規(guī)劃

HBase集群安裝用戶保持與Hadoop集群安裝用戶一致即可，其用戶規(guī)劃如下：

節(jié)點(diǎn)	用戶組	用戶
hadoop1	root	root
hadoop2	root	root
hadoop3	root	root

3.1.4 數(shù)據(jù)目錄規(guī)劃

在正式安裝HBase之前，需要規(guī)劃好所有的軟件目錄和數(shù)據(jù)存放目錄，便于后期的管理與維護(hù)。HBase目錄規(guī)劃如下：

目錄名稱	目錄路徑
HBase 軟件安裝目錄	/usr/local
RegionServer 共享目錄	hdfs://mycluster/hbase
Zookeeper 數(shù)據(jù)目錄	/usr/local/data/zookeeper

3.2 HBase 集群安裝配置

3.2.1 下載上傳解壓

下載地址：https://archive.apache.org/dist/hbase/

上傳：

解壓：

[root@hadoop1 local]# tar -zxvf hbase-2.1.0-bin.tar.gz 

創(chuàng)建軟連接：

[root@hadoop1 local]# ln -s hbase-2.1.0 hbase

3.2.2 修改配置文件

進(jìn)入hadoop1節(jié)點(diǎn)的conf目錄，修改HBase集群相關(guān)配置文件

3.2.2.1 修改hbase-site.xml配置文件

通過修改hbase-site.xml配置文件進(jìn)行個(gè)性化配置，修改內(nèi)容如下所示

[root@hadoop1 hbase]# vim /usr/local/hbase/conf/hbase-site.xml 

添加如下內(nèi)容(記得把注釋去掉，以免不能正常啟動(dòng))：

<configuration><property><name>hbase.zookeeper.quorum</name><value>hadoop1,hadoop2,hadoop3</value><description>指定Zookeeper集群節(jié)點(diǎn)</description></property><property><name>hbase.zookeeper.property.dataDir</name><value>/usr/local/zookeeper/data/zkdata</value><description>指定Zookeeper數(shù)據(jù)存儲(chǔ)目錄</description></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value><description>指定Zookeeper端口號(hào)</description></property><property><name>hbase.rootdir</name><value>hdfs://mycluster/hbase</value><description>指定HBase在HDFS上的根目錄</description></property><property><name>hbase.cluster.distributed</name><value>true</value><description>指定true為分布式集群部署</description></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value><description>使用本地文件系統(tǒng)設(shè)置為false，使用hdfs設(shè)置為true</description></property>
</configuration>

3.2.2.2 修改regionservers配置文件

修改regionservers配置文件添加RegionServer節(jié)點(diǎn)角色，修改內(nèi)容如下:

[root@hadoop1 hbase]# vim /usr/local/hbase/conf/regionservers 

添加如下內(nèi)容（不要添加空格或最后加換行）：

hadoop1
hadoop2
hadoop3

3.2.2.3 修改backup-masters配置文件

修改backup-masters配置文件（可能不存在此文件）添加備用節(jié)點(diǎn)，修改內(nèi)容如下：

[root@hadoop1 hbase]# vim /usr/local/hbase/conf/backup-masters

添加內(nèi)容如下：

hadoop2

因?yàn)镠Base的HMaster角色需要配置高可用，所以這里選擇hadoop2為備用節(jié)點(diǎn)。

3.2.2.4 修改hbase-env.sh配置文件

修改hbase-env.sh配置文件添加相關(guān)環(huán)境變量，修改內(nèi)容如下：

[root@hadoop1 hbase]# vim /usr/local/hbase/conf/hbase-env.sh 

修改如下內(nèi)容（注釋部分記得去掉）：

# 配置jdk安裝路徑
export JAVA_HOME=/usr/local/jdk
# 使用獨(dú)立的Zookeeper集群
export HBASE_MANAGES_ZK=false

3.2.3 配置 HBase 環(huán)境變量

添加HBase環(huán)境變量，添加內(nèi)容如下

[root@hadoop1 hbase]# vim /etc/profile

添加如下內(nèi)容：

# 添加 HBase 環(huán)境變量
HBASE_HOME=/usr/local/hbase
PATH=$HBASE_HOME/bin:$PATH
export HIVE_HOME PATH

更新環(huán)境變量

[root@hadoop1 hbase]# source /etc/profile

# 添加 HBase 環(huán)境變量
HBASE_HOME=/usr/local/hbase
PATH=$HBASE_HOME/bin:$PATH
export HIVE_HOME PATH

3.2.4 配置文件同步到集群其他節(jié)點(diǎn)

將hadoop1節(jié)點(diǎn)中配置好的HBase安裝目錄，分發(fā)給hadoop2和hadoop3節(jié)點(diǎn)，因?yàn)镠Base集群配置都是一樣的。這里使用工具 deploy.sh 和 runRemoteCmd.sh 命令進(jìn)行分發(fā)（ZooKeeper 集群的詳細(xì)部署的4.1章節(jié)），具體操作如下：

[root@hadoop1 tools]# deploy.sh /usr/local/hbase-2.1.0 /usr/local/ slave
[root@hadoop1 tools]# deploy.sh /etc/profile /etc slave
[root@hadoop1 tools]# runRemoteCmd.sh "ln -s /usr/local/hbase-2.1.0 /usr/local/hbase" slave

3.3 啟動(dòng) HBase 集群服務(wù)

3.3.1 啟動(dòng) Zookeeper 集群

[root@hadoop1 tools]# runRemoteCmd.sh "/usr/local/zookeeper/bin/zkServer.sh start" all

3.3.2 啟動(dòng) HDFS 集群

[root@hadoop1 tools]# /usr/local/hadoop/sbin/start-dfs.sh

3.3.3 啟動(dòng) HBase 集群

[root@hadoop1 tools]# /usr/local/hbase/bin/start-hbase.sh 

日志提示報(bào)錯(cuò)：

上面提示是缺少 htrace.SamplerBuilder類，如下操作再重新啟動(dòng)

[root@hadoop1 client-facing-thirdparty]# cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar /usr/local/hbase/lib/

3.3.5 HBase Web 界面

四、HBase shell 操作

進(jìn)入 HBbase shell

[root@hadoop1 hbase]# /usr/local/hbase/bin/hbase shell

• 創(chuàng)建 course 表

hbase(main):005:0> create 'course','cf'

• 查看 HBase 所有表

hbase(main):006:0> list

• 查看 course 表結(jié)構(gòu)

hbase(main):008:0> describe 'course'

• 向 course 表插入數(shù)據(jù)

put 'course','001','cf:cname','hbase'
put 'course','001','cf:score','95'
put 'course','002','cf:cname','sqoop'
put 'course','002','cf:score','85'
put 'course','003','cf:cname','flume'
put 'course','003','cf:score','98'

• 查詢 course 表中的所有數(shù)據(jù)

hbase(main):015:0> scan 'course'

• 根據(jù)行鍵查詢 course 表
  • 查詢整條記錄

hbase(main):023:0> get 'course','001'

- 查詢一個(gè)列簇?cái)?shù)據(jù)

hbase(main):025:0> get 'course','001','cf'

- 查詢列簇中其中的一個(gè)列

hbase(main):026:0> get 'course','001','cf:cname'

• 更新 course 表數(shù)據(jù)

hbase(main):027:0> put 'course','001','cf:score','99'
hbase(main):028:0> get 'course','001','cf:score'

• 查詢 course 表總記錄

hbase(main):029:0> count 'course'

• 刪除 course 表數(shù)據(jù)
  • 刪除列簇中的一列

hbase(main):031:0> delete 'course','003','cf:score'
hbase(main):034:0> scan 'course'

- 刪除整行記錄

hbase(main):033:0> deleteall 'course','002'
hbase(main):034:0> scan 'course'

• 清空 course 表

hbase(main):035:0> truncate 'course'
hbase(main):036:0> scan 'course'

• 刪除 course 表

hbase(main):037:0> disable 'course'
hbase(main):038:0> drop 'course'

• 查看表是否存在

hbase(main):040:0> exists 'course'