Hadoop中怎么配置HBase單機(jī)環(huán)境，針對這個問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)建站是一家專注于成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)與策劃設(shè)計,宕昌網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:宕昌等地區(qū)。宕昌做網(wǎng)站價格咨詢:18980820575

Hadoop HBase 單機(jī)環(huán)境怎么配置

在初接觸Hadoop和Hbase的時候,大多數(shù)技術(shù)人員只希望通過簡單的方法初步搭起框架環(huán)境,但我找了好多安裝手冊都是上來就部署集群分布環(huán)境(盡管做Hadoop就是為了這個目的),搭建集群環(huán)境的時候要設(shè)置ssh協(xié)議訪問權(quán)限,要生成訪問公鑰,并且slaves配置上的小錯誤也會導(dǎo)致整個部署問題重重,所以我在部署成功后記錄下最簡單運(yùn)行的standalone模式的安裝配置過程,希望初學(xué)者在需要的時候能找到這個小小的guide,以后有時間我會再把集群配置的方法寫出來.

開始:

1.在Apache/Hadoop項(xiàng)目的網(wǎng)站(hadoop.apache.org)下載hadoop以及hbase的發(fā)行包,此處兩個發(fā)行包的大版本號一定要一致,譬如都是0.18版本:

hadoop-0.18.2.tar.gz

hbase-0.18.1.tar.gz

2.使用root身份登錄目標(biāo)服務(wù)器系統(tǒng)(Suse10 Linux),首先安裝java虛擬機(jī),這個比較簡單,隨便找個綠色的解壓就可以了,在這個例子里面我使用IBM WAS6.1附帶的jdk,它的home目錄是/opt/IBM/WebSphere/AppServer/java,我們只需要配置系統(tǒng)的環(huán)境變量就可以了.

編輯全局環(huán)境變量文件/etc/profile,在文件后面添加

export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

export PATH=$JAVA_HOME:$PATH

保存profile文件后使用

source /etc/profile

命令重新加載profile,然后隨便在一個目錄下面運(yùn)行

java -version

查看javahome環(huán)境變量和path變量是否被正確加載.

另外到 /etc/hosts 文件中查看主機(jī)映射是否存在,例如 127.0.0.1 localhost 或者什么其他的名字,在這里默認(rèn)配置本機(jī)為localhost,如果需要做分布式的話,本機(jī)要做namenode,所以要把所有的datanode的host添加到這里面.

3.創(chuàng)建hadoop用戶,

useradd hadoop

可以用

passwd hadoop

修改hadoop用戶的登錄密碼.

4.創(chuàng)建hadoop用戶的home目錄,如果打算在別處安裝hadoop/hbase的話可以不這樣做,這里我們默認(rèn)將hadoop/hbase安裝在/home/${username}目錄下.

cd /home

mkdir hadoop

將目錄用戶指派給hadoop

chown hadoop hadoop

改變目錄權(quán)限,這里我們配大一些,其實(shí)只要644就足夠了:

chmod 755 hadoop

5.使用hadoop用戶登錄系統(tǒng),將下載的兩個發(fā)行包文件傳到/home/hadoop目錄下面,然后給它們加上執(zhí)行權(quán)限:

chmod a+x hadoop-0.18.2.tar.gz

chmod a+x hbase-0.18.1.tar.gz

Hadoop HBase 單機(jī)環(huán)境怎么配置

6.解壓hadoop:

tar zxvf hadoop-0.18.2.tar.gz

這樣做會在/home/hadoop目錄下解壓hadoop發(fā)行包并創(chuàng)建到/home/hadoop/hadoop-0.18.2目錄中,這里可以詳細(xì)設(shè)計目錄結(jié)構(gòu)并創(chuàng)建link文件來方便日后升級等工作,這里我們先簡單放在這里.

7.修改hadoop環(huán)境腳本:

修改文件/home/hadoop/hadoop-0.18.2/conf/hadoop-env.sh,在其中加入JAVA_HOME變量:

export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

HADOOP_HOME變量我們可以不設(shè)置,默認(rèn)的情況是指定HADOOP_HOME為運(yùn)行啟動腳本當(dāng)前目錄的父目錄.

8.修改hadoop啟動配置:

參照默認(rèn)配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-default.xml 修改用戶配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-site.xml,hadoop啟動的時候會加載默認(rèn)配置文件,然后讀取用戶配置文件并使用用戶配置文件中的屬性替換默認(rèn)配置文件中的值,這里最簡單的情況我們只需要修改如下幾項(xiàng)即可,如果需要做分布的話也是要在這個文件里面進(jìn)行配置.將要修改的配置項(xiàng)簡單的放到hadoop-site.xml文件的中去:

fs.default.name

hdfs://localhost:9000/

mapred.job.tracker

localhost:9001

9.格式化nodename及啟動hdfs守護(hù)進(jìn)程:

/home/hadoop/hadoop-0.18.2/bin/hadoop namenode -format

/home/hadoop/hadoop-0.18.2/bin/start-all.sh

使用shart-all.sh可以方便的啟動所有的hdfs守護(hù)進(jìn)程,如果想關(guān)閉這些守護(hù)進(jìn)程可以使用stop-all.sh腳本.

啟動過程中需要輸入登錄密碼.

啟動成功后可以用以下簡單方法測試hdfs:

/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -mkdir dir4test

/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -ls

/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -put /home/hadoop/file4test.zip file4test_temp.zip

相當(dāng)于linux系統(tǒng)下的mkdir ls cp命令.

用瀏覽器訪問 http://localhost:50030/ 和 http://localhost:50070/ 可以查看hdfs拓?fù)浣Y(jié)構(gòu)和job進(jìn)程還有hdfs文件系統(tǒng)結(jié)構(gòu).

10.解壓hbase發(fā)行包:

tar zxvf hbase-0.18.1.tar.gz

11.修改hbase環(huán)境腳本:

修改文件/home/hadoop/hbase-0.18.1/conf/hbase-env.sh,在其中加入JAVA_HOME變量:

export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

簡單啟動暫時不需要在用戶配置文件/home/hadoop/hbase-0.18.1/conf/hbase-site.xml添加任何替代屬性.

12.啟動hbase:

/home/hadoop/hbase-0.18.1/bin/start-hbase.sh

成功啟動hbase的守護(hù)進(jìn)程.

啟動hbase hql shell:

/home/hadoop/hbase-0.18.1/bin/hbase shell

在hql shell中可以進(jìn)行hbase數(shù)據(jù)操作,如果需要幫助信息可以鍵入:

hbase>help

簡單測試hbase:

在hbase shell下:

hbase>create 't1','f1','f3'

hbase>list

使用瀏覽器訪問 http://localhost:60010/ 可以查看當(dāng)前hbase信息.

啟動hbase REST服務(wù):

/home/hadoop/hbase-0.18.1/bin/hbase rest start

成功啟動hbase REST服務(wù)后就可以通過對uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)實(shí)現(xiàn)對hbase的REST形式數(shù)據(jù)操作。

關(guān)于Hadoop中怎么配置HBase單機(jī)環(huán)境問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

網(wǎng)頁名稱：Hadoop中怎么配置HBase單機(jī)環(huán)境
本文地址：http://chinadenli.net/article44/ihjshe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計、外貿(mào)網(wǎng)站建設(shè)、商城網(wǎng)站、ChatGPT、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)