怎么樣搭建Hadoop3.2.0集群？很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)南充免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了數(shù)千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

一 端口變化

3.2.0版本中namenode頁面端口是9870,datanode管理端口是8088,所以需要開放這兩個(gè)端口還給web頁面訪問

二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動(dòng):

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性

<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>

四 salave文件編程workers文件了,內(nèi)容配置是一樣的

五 啟動(dòng)成功不報(bào)錯(cuò),但最蛋疼的Live Nodes為0問題

解決步驟:

一 先查看datanode 日志:

如果出現(xiàn)這個(gè)說明連接配置有問題,查看core-site.xml配置,這個(gè)是配置datanode和namnode通信的:

一看

這里配置的連接地址有問題

hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點(diǎn)都一樣,這個(gè)地址,配置完成重啟成功

網(wǎng)上還有說/etc/hots解析不成功的,這個(gè)也是一個(gè)原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題

最后成功頁面

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司，的支持。

新聞標(biāo)題：怎么樣搭建Hadoop3.2.0集群-創(chuàng)新互聯(lián)
本文URL：http://chinadenli.net/article8/eosip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、外貿(mào)建站、微信公眾號(hào)、自適應(yīng)網(wǎng)站、靜態(tài)網(wǎng)站、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)