centos8中怎么構(gòu)建一個hadoop集群，針對這個問題，這篇文章詳細介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、甘肅ssl等。為千余家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的甘肅網(wǎng)站制作公司

修改hosts vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.107 dsj2020master 192.168.1.108 dsj2020slave1 192.168.1.109 dsj2020slave2

更改 hostname. vim /etc/sysconfig/network

NETWORKING=yes HOSTNAME=master

配置靜態(tài)IP. vim /etc/sysconfig/network-scripts/ifcfg-ethx

BOOTPROTO=static ONBOOT=yes IPADDR=192.168.1.101 NETMASK=255.255.255.0 GATEWAY=192.168.1.1

重啟網(wǎng)絡(luò)

nmcli c reload

java

wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.rpm

rpm -ivh jdk-8u201-linux-x64.rpm

hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

tar -zxvf hadoop-2.9.2.tar.gz

mv hadoop-2.9.2.tar.gz hadoop

為hadoop添加環(huán)境變量

##########

export HADOOP_HOME=/home/user1/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

cd  /soft/hadoop/etc/hadoop/   --  編輯core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration>   -- 編輯hdfs-site.xml <configuration>     <property>         <name>dfs.replication</name>         <value>3</value>     </property> </configuration>

--  編輯 slaves 文件 dsj2020master dsj2020slave1 dsj2020slave2   -- 復(fù)制 mapred-site.xml.template cp  mapred-site.xml.template  mapred-site.xml   --  編輯mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>   --  編輯yarn-site.xml  <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master</value> </property> </configuration>  

將JAVA_HOME 環(huán)境變量加入hadoop-env.sh

JAVA_HOME=/soft/bin

復(fù)制過去

scp -r hadoop user2@slave1:~/software/

免密登陸

ssh-keygen -t rsa ssh-copy-id user@master ssh-copy-id user@slave1 ssh-copy-id user@slave2

JAVA_HOME=/root/jdk JRE_HOME=/root/jdk/jre CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin

server.1=dsj2020master:2888:3888 server.2=dsj2020slave1:2888:3888 server.3=dsj2020slave2:2888:3888

關(guān)于centos8中怎么構(gòu)建一個hadoop集群問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

文章名稱：centos8中怎么構(gòu)建一個hadoop集群
當(dāng)前地址：http://chinadenli.net/article30/joieso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供、網(wǎng)站排名、網(wǎng)頁設(shè)計公司、動態(tài)網(wǎng)站、網(wǎng)站營銷、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)