Yarn 集群資源管理系統(tǒng)

創(chuàng)新互聯(lián)從2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計制作、成都做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元株洲做網(wǎng)站,已為上家服務(wù),為株洲各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792

Yarn 角色及概念

?Yarn 是 Hadoop 的一個通用的資源管理系統(tǒng)

? Yarn 角色

    – Resourcemanager

    – Nodemanager

    – ApplicationMaster

    – Container

    – Client

? ResourceManager

    – 處理客戶端請求

    – 啟動 / 監(jiān)控 ApplicationMaster

    – 監(jiān)控 NodeManager

    – 資源分配與調(diào)度

? NodeManager

    – 單個節(jié)點上的資源管理

    – 處理來自 ResourceManager 的命令

    – 處理來自 ApplicationMaster 的命令

? Container

    – 對任務(wù)運行行環(huán)境的抽象,封裝了 CPU 、內(nèi)存等

    – 多維資源以及環(huán)境變量、啟動命令等任務(wù)運行相關(guān)的信息資源分配與調(diào)度

? ApplicationMaster

    – 數(shù)據(jù)切分

    – 為應(yīng)用程序申請資源,并分配給內(nèi)部任務(wù)

    – 任務(wù)監(jiān)控與容錯

? Client

    – 用戶與 YARN 交互的客戶端程序

    – 提交應(yīng)用程序、監(jiān)控應(yīng)用程序狀態(tài),殺死應(yīng)用程序等

Yarn 結(jié)構(gòu)

? YARN 的核心思想

? 將 JobTracker 和 TaskTacker 進行分離,它由下面幾大構(gòu)成組件:

    – ResourceManager 一個全局的資源管理器

    – NodeManager 每個節(jié)點(RM)代理

    – ApplicationMaster 表示每個應(yīng)用

    – 每一個 ApplicationMaster 有多個 Container 在NodeManager 上運行

系統(tǒng)規(guī)劃

主機                                      角色                                    軟件

192.168.4.1    master       Resource Manager         YARN

192.168.4.2    node1        Node Manager                YARN

192.168.4.3    node2        Node Manager                YARN

192.168.4.4    node3        Node Manager                YARN

Yarn 安裝與配置       

具體實驗準備 可以參考 https://blog.51cto.com/13558754/2066708

# ssh 192.168.4.1

# cd /usr/local/hadoop/

# cd etc/hadoop/

# cp mapred-site.xml.template mapred-site.xml

# vim mapred-site.xml

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>                        // 配置使用yarn 資源管理系統(tǒng)

  </property>

</configuration>

# vim yarn-site.xml

<configuration>

  <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>                //配置 Resource Manager 角色 

  </property>

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>            // 一個 java 的類 真實環(huán)境與開發(fā)人員溝通

  </property>

</configuration>

配置完成以后

# for i in node{1..3}                    //將配置文件同步到所有主機

> do

> rsync -azSH --delete /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop -e 'ssh'

> done

# cd /usr/local/hadoop/

啟動 yarn 服務(wù)

# ./sbin/start-yarn.sh 

在所有主機上執(zhí)行 jps, 查看是否啟動成功

# for i in master node{1..3}

> do

> echo ${i}

> ssh ${i} "jps"

> done

master

3312 Jps

3005 ResourceManager

node1

3284 Jps

3162 NodeManager

node2

2882 NodeManager

3004 Jps

node3

2961 Jps

2831 NodeManager

 顯示所有可用的計算節(jié)點

# ./bin/yarn node -list

18/01/31 06:41:56 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

         Node-Id     Node-StateNode-Http-AddressNumber-of-Running-Containers

     node3:46007        RUNNING       node3:8042                           0

     node2:54895        RUNNING       node2:8042                           0

     node1:51087        RUNNING       node1:8042  

resourcemanager

nodemangager

驗證 Yarn

 

# bin/hadoop fs -ls /input

Found 3 items

-rw-r--r--   2 root supergroup      84854 2018-01-29 21:37 /input/LICENSE.txt

-rw-r--r--   2 root supergroup      14978 2018-01-29 21:37 /input/NOTICE.txt

-rw-r--r--   2 root supergroup       1366 2018-01-29 21:37 /input/README.txt

使用yarn 統(tǒng)計 樣本文件中單詞出現(xiàn)頻率

# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount hdfs://master:9000/input  hdfs://master:9000/output

查看結(jié)果

# ./bin/hadoop fs -cat hdfs://master:9000/output/*

Yarn 節(jié)點管理

[root@master ~] # cat /etc/hosts

192.168.4.1master

192.168.4.2 node1

192.168.4.3 node2

192.168.4.4 node3

192.168.4.5 newnode

[root@newnode ~]# rsync -azSH --delete master:/usr/local/hadoop /usr/local

[root@master hadoop]# ./sbin/start-yarn.sh 

添加節(jié)點

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:06:57 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

         Node-Id     Node-State Node-Http-Address Number-of-Running-Containers

     node1:33596        RUNNING       node1:8042                           0

     node2:53475        RUNNING       node2:8042                           0

     node3:34736        RUNNING       node3:8042                           0

[root@newnode hadoop]# sbin/yarn-daemon.sh start nodemanager

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:07:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:4

         Node-Id     Node-State Node-Http-Address Number-of-Running-Containers

   newnode:39690        RUNNING     newnode:8042                           0

     node1:33596        RUNNING       node1:8042                           0

     node2:53475        RUNNING       node2:8042                           0

     node3:34736        RUNNING       node3:8042                           0

刪除節(jié)點

[root@newnode hadoop]# sbin/yarn-daemon.sh stop nodemanager

//不會立即刪除

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:11:31 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:4

         Node-Id     Node-State Node-Http-Address Number-of-Running-Containers

   newnode:39690        RUNNING     newnode:8042                           0

     node1:33596        RUNNING       node1:8042                           0

     node2:53475        RUNNING       node2:8042                           0

     node3:34736        RUNNING       node3:8042                           0

//需要重新啟動服務(wù)

[root@master hadoop]# ./sbin/stop-yarn.sh 

[root@master hadoop]# ./sbin/start-yarn.sh 

[root@master hadoop]#  ./bin/yarn node -list

18/01/28 21:12:46 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

         Node-Id     Node-State Node-Http-Address Number-of-Running-Containers

     node1:42010        RUNNING       node1:8042                           0

     node2:55043        RUNNING       node2:8042                           0

     node3:38256        RUNNING       node3:8042                           0

網(wǎng)站名稱：搭建部署Hadoop之Yarn
當(dāng)前鏈接：http://chinadenli.net/article48/gigcep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、微信小程序、品牌網(wǎng)站制作、網(wǎng)站內(nèi)鏈、標簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)