運(yùn)行在單節(jié)點(diǎn)的 YARN

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：申請(qǐng)域名、網(wǎng)絡(luò)空間、營(yíng)銷軟件、網(wǎng)站建設(shè)、義安網(wǎng)站維護(hù)、網(wǎng)站推廣。

您可以通過設(shè)置幾個(gè)參數(shù)，另外運(yùn)行 ResourceManager 的守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程以偽分布式模式在 YARN 上運(yùn)行 MapReduce job。

以下是運(yùn)行步驟。

（1）配置

etc/hadoop/mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1
2
3
4
5
6
etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1
2
3
4
5
6
（2）啟動(dòng) ResourceManager 守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程

$ sbin/start-yarn.sh
1
（3）瀏覽 ResourceManager 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：

ResourceManager - http://localhost:8088/
1
（4）運(yùn)行 MapReduce job

（5）完成全部操作后，停止守護(hù)進(jìn)程：

$ sbin/stop-yarn.sh
1

6. 完全分布式模式的操作方法

關(guān)于搭建完全分布式模式的，請(qǐng)參閱下文《Apache Hadoop 集群上的安裝配置》小節(jié)內(nèi)容。

Apache Hadoop 集群上的安裝配置

本節(jié)將描述如何安裝、配置和管理 Hadoop 集群，其規(guī)?？蓮膸讉€(gè)節(jié)點(diǎn)的小集群到幾千個(gè)節(jié)點(diǎn)的超大集群。

1. 先決條件

確保在你集群中的每個(gè)節(jié)點(diǎn)上都安裝了所有必需軟件，安裝 Hadoop 集群通常要將安裝軟件解壓到集群內(nèi)的所有機(jī)器上，參考上節(jié)內(nèi)容《Apache Hadoop 單節(jié)點(diǎn)上的安裝配置》。

通常情況下，集群中的一臺(tái)機(jī)器被指定為 NameNode 和另一臺(tái)機(jī)器作為 ResourceManager。這些都是 master。其他服務(wù)（例如，Web 應(yīng)用程序代理服務(wù)器和 MapReduce Job History 服務(wù)器）是在專用的硬件還是共享基礎(chǔ)設(shè)施上運(yùn)行，這取決于負(fù)載。

在群集里剩余的機(jī)器充當(dāng) DataNode 和 NodeManager。這些都是 slave。‘’

很多人都知道我有大數(shù)據(jù)培訓(xùn)資料，都天真的以為我有全套的大數(shù)據(jù)開發(fā)、hadoop、spark等視頻學(xué)習(xí)資料。我想說你們是對(duì)的，我的確有大數(shù)據(jù)開發(fā)、hadoop、spark的全套視頻資料。
如果你對(duì)大數(shù)據(jù)開發(fā)感興趣可以加口群領(lǐng)取免費(fèi)學(xué)習(xí)資料： 763835121

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前題目：ApacheHadoop入門教程第四章-創(chuàng)新互聯(lián)
URL地址：http://chinadenli.net/article8/ddisip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、營(yíng)銷型網(wǎng)站建設(shè)、搜索引擎優(yōu)化、網(wǎng)站建設(shè)、外貿(mào)建站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)