這篇文章將為大家詳細講解有關Hadoop分布式集群如何搭建，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務領域包括：成都網(wǎng)站建設、網(wǎng)站建設、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務，滿足客戶于互聯(lián)網(wǎng)時代的左云網(wǎng)站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設合作伙伴！

Hadoop分布式集群環(huán)境搭建步驟如下

實驗環(huán)境：
系統(tǒng)：win7
內(nèi)存：8G(因要開虛擬機，內(nèi)存建議不低于8G)
硬盤：建議固態(tài)
虛擬機：VMware 12
Linux：Centos 7
jdk1.7.0_67
hadoop-2.5.0.tar.gz

1.安裝VMware虛擬機環(huán)境
2.安裝Centos操作系統(tǒng)
3.修改主機名配置網(wǎng)絡
4.配置ssh無密碼登錄
5.上傳jdk配置環(huán)境變量
6.上傳hadoop配置環(huán)境變量
7.修改hadoop配置文件
8.格式化namenode
9.啟動hadoop并測試
1安裝VMware虛擬機環(huán)境
這一步很簡單，直接下載安裝包下一步，安裝成功之后打開輸入注冊碼

5A02H-AU243-TZJ49-GTC7K-3C61N
GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
FY1M8-6LG0H-080KP-YDPXT-NVRV2
ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
FZ5XR-A3X16-H819Q-RFNNX-XG2EA
ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
VC58A-42Z8H-488ZP-8FXZX-YGRW8

2安裝Centos操作系統(tǒng)
我這里安裝了3臺Linux，一臺作為namenode，兩臺作為datanode，使用的是Centos7 64位，建議使用Centos，原因很簡單，免費開源，屬于重量級Linux,更接近生產(chǎn)環(huán)境，當然用其它版本也是可以的。
下載地址：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
安裝過程很簡單這里就不詳述了。
還是要推薦下我自己創(chuàng)建的大數(shù)據(jù)學習交流Qun: 710219868 有大佬有資料， 進Qun聊邀請碼填寫 南風（必填 ）
有學習路線的分享公開課，聽完之后就知道怎么學大數(shù)據(jù)了
3.修改主機名配置網(wǎng)絡
namenode:master
datanode:slave1 slave2

執(zhí)行以下命令
vi /etc/hostname
將localhost改為master
另外兩臺分別改為slave1和slave2
接著執(zhí)行以下命令
vi /etc/hosts
將三臺linux的ip和主機名加進去
192.168.149.138 master
192.168.149.139 slave1
192.168.149.140 slave2
以上地址根據(jù)自己主機填寫

4配置ssh無密碼登錄
在master上執(zhí)行以下命令

ssh-keygen
上一步執(zhí)行完之后將會生成公鑰和私鑰
cd ~/.ssh
在.ssh目錄執(zhí)行l(wèi)l命令會看到id_rsa和id-rsa.pub兩個文件，第一個是私鑰，第二個是公鑰
然后執(zhí)行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.139
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.140
這樣就把公鑰拷到了另外兩臺linux上
然后測試是否成功
ssh 192.168.149.139
如果不要密碼則配置成功

5 上傳jdk配置環(huán)境變量
將jdk上傳至centos

執(zhí)行以下命令
tar -zxvf jdk1.7.0_67
vi /etc/profile
將Java環(huán)境變量配置好之后
source /etc/profile 讓配置生效
查看是否配好
java -version

6上傳hadoop配置環(huán)境變量
將hadoop安裝包上傳至centos

執(zhí)行以下命令
tar -zxvf hadoop-2.5.0.tar.gz
mv hadoop-2.5.0.tar.gz hadoop 重命名
配置hadoop環(huán)境變量同Java。PATH路徑分別為bin和sbin
查看是否成功
hadoop version

7修改hadoop配置文件
需要修改的文件有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
yarn-site.xml

hadoop-env.sh

將JAVA_HOME路徑添加進去

core-site.xml

<configuration>  
<property>  
<name>fs.default.name</name>  
<value>hdfs://master:9000</value>  
</property>  
<property>  
<name>hadoop.tmp.dir</name>  
<value>/usr/local/hadoop/tmp</value>  
</property>  
</configuration>  
1
2
3
4
5
6
7
8
9
10
hdfs-site.xml

<configuration>  
<property>
<name>dfs.replication</name>  
<value>1</value>  
</property>    
</configuration>  
1
2
3
4
5
6
mapred-site.xml

<configuration>  
<property>                                                                    
　　　　　　<name>mapreduce.framework.name</name>  
<value>yarn</value>  
</property>  
</configuration>  
1
2
3
4
5
6
yarn-site.xml

<configuration>  
<property>  
<name>yarn.resourcemanager.hostname</name>  
<value>master</value>  
</property>
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce_shuffle</value>  
</property>  
</configuration>
1
2
3
4
5
6
7
8
9
10
注意：配置完成后別忘了把master上的hadoop拷貝到slave1和slave2上，使用命令：scp -r /usr/local/haoop slave1:/usr/local/

8格式化namenode
執(zhí)行以下命令
hadoop namenode -format
start-dfs.sh
start-yarn.sh

9啟動hadoop并測試
master上執(zhí)行以下命令測試

jps
如結果如下則表示搭建成功
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
slave1和slave2上執(zhí)行以下命令測試
jps
NodeManager
DataNode
Jps

關于“Hadoop分布式集群如何搭建”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

本文標題：Hadoop分布式集群如何搭建
瀏覽地址：http://chinadenli.net/article32/ppcppc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、商城網(wǎng)站、服務器托管、網(wǎng)頁設計公司、電子商務、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)