hadoop3種集群方式包括獨(dú)立模式、偽分布式模式和完全分布式模式

井陘網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)從2013年創(chuàng)立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專(zhuān)注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

1獨(dú)立模式

安裝

a)下載jdk-8u65-linux-x64.tar.gz

b)tar開(kāi)

$>su centos ; cd ~

$>mkdir downloads

$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

$>tar -xzvf jdk-8u65-linux-x64.tar.gz

c)創(chuàng)建/soft文件夾

$>sudo mkdir /soft

$>sudo chown centos:centos /soft

d)移動(dòng)tar開(kāi)的文件到/soft下

$>mv ~/downloads/jdk-1.8.0_65 /soft/

e)創(chuàng)建符號(hào)連接

$>ln -s /soft/jdk-1.8.0_65 /soft/jdk

f)驗(yàn)證jdk安裝是否成功

$>cd /soft/jdk/bin

$>./java -version

配置jdk環(huán)境變量

1.編輯/etc/profile

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

2.使環(huán)境變量即刻生效

$>source /etc/profile

3.進(jìn)入任意目錄下,測(cè)試是否ok

$>cd ~

$>java -version

注意點(diǎn)

你創(chuàng)建文件夾一定和你登陸的用戶(hù)一致

安裝HADOOP軟件

 1.安裝hadoop

a)下載hadoop-2.7.3.tar.gz

b)tar開(kāi)

$>su centos ; cd ~

$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

$>tar -xzvf hadoop-2.7.3.tar.gz

c)無(wú)

d)移動(dòng)tar開(kāi)的文件到/soft下

$>mv ~/downloads/hadoop-2.7.3 /soft/

e)創(chuàng)建符號(hào)連接

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

f)驗(yàn)證hadoop安裝是否成功

$>cd /soft/hadoop/bin

$>./hadoop version

2.配置hadoop環(huán)境變量

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

4.進(jìn)入任意目錄下,測(cè)試是否ok

$>cd ~

$>hadoop version

5.nothing !

不需要啟用單獨(dú)的hadoop進(jìn)程。

6.hafs dfs -ls /home 和 linux中的ls效果一樣

偽分布模式（Pseudodistributed mode）

a)進(jìn)入${HADOOP_HOME}/etc/hadoop目錄

三種模式共存

1.創(chuàng)建三個(gè)配置目錄,內(nèi)容等同于hadoop目錄

${hadoop_home}/etc/local

${hadoop_home}/etc/pesudo

${hadoop_home}/etc/full

2.創(chuàng)建符號(hào)連接

$>ln -spesudo hadoop

b)編輯core-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

c)編輯hdfs-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

d)編輯mapred-site.xml

注意:cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

e)編輯yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

f)配置SSH

本文名稱(chēng)：hadoop3種集群方式
網(wǎng)頁(yè)路徑：http://chinadenli.net/article26/jggscg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、面包屑導(dǎo)航、關(guān)鍵詞優(yōu)化、定制網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、定制開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)