本期內(nèi)容：

為八步等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及八步網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、八步網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

1 MapReduce架構(gòu)解密

2 MapReduce運(yùn)行集群研究

3 通過Java編程操作MapReduce實(shí)戰(zhàn)

Hadoop從2。0開始就已經(jīng)必須運(yùn)行在 Yarn上面了，1.0時(shí)根本不關(guān)心Yarn。

現(xiàn)在是 MR，也是講Yarn的，而且已經(jīng)是 基礎(chǔ)入門階段。零基礎(chǔ)已經(jīng)過去了。

明天開始 - 20個(gè)左右的MapReduce代碼的集合講解

一：基于Yarn的MapReduce架構(gòu)

1.MR代碼程序是基于實(shí)現(xiàn)Mapper和Reducer兩大階段構(gòu)成的，其中Mapper是把一個(gè)計(jì)算任務(wù)分解成很多

小任務(wù)進(jìn)行并行計(jì)算，Reducer是進(jìn)行最后的統(tǒng)計(jì)的工作的；

2.Hadoop 2.x開始是基于Yarn運(yùn)行的。

Yarn是管理集群的所有資源的（如內(nèi)存和CPU），ResourceManager，每個(gè)節(jié)點(diǎn)上安排了一上JVM進(jìn)程，NodeManager，接收要求用Container方式來包裹這些資源，當(dāng)RM接收到作業(yè)請(qǐng)求時(shí)，

3.當(dāng)ResourceManager接收到Client提交的請(qǐng)求的程序的時(shí)候會(huì)根據(jù)集群資源的狀況在某個(gè)NodeManager所在的節(jié)點(diǎn)上命令NodeManager啟動(dòng)該程序的第一個(gè)Container，該Container就是程序的ApplicationMaster，負(fù)責(zé)程序的任務(wù)調(diào)度的執(zhí)行過程，ApplicationManager轉(zhuǎn)過來向ResourceManager注冊(cè)自己，注冊(cè)之后會(huì)向ReourceManager申請(qǐng)具體的Container計(jì)算資源。

4.如何街道一個(gè)程序中的ApplicationMaster需要多少個(gè)Container呢？

 Application在啟動(dòng)時(shí)會(huì)運(yùn)行程序的Main方法，該方法中會(huì)有數(shù)據(jù)的輸入和相關(guān)的配置，通過這些內(nèi)容就可以知道需要多少Container；

（container是一個(gè)單位的計(jì)算機(jī)資源，根據(jù)客戶端請(qǐng)求的計(jì)算，集群會(huì)解析計(jì)算job,計(jì)算結(jié)果包含需要的contain資源）

Application要運(yùn)行Main方法，知道分析程序有多少個(gè)分片，多少個(gè)分片對(duì)應(yīng)Container，再考量其他資源，如Shuffle等再分配一些資源。

5.MapReduce運(yùn)行在Yarn上的總結(jié)

主從結(jié)構(gòu)

主節(jié)點(diǎn)，只有一個(gè): ResourceManager

控制節(jié)點(diǎn)，每個(gè)Job都有一個(gè)MRAppMaster

從節(jié)點(diǎn)，有很多個(gè): YarnChild

ResourceManager負(fù)責(zé)：

接收客戶提交的計(jì)算任務(wù)

把Job分給MRAppMaster執(zhí)行

監(jiān)控MRAppMaster的執(zhí)行情況

MRAppMaster負(fù)責(zé)：

負(fù)責(zé)一個(gè)Job執(zhí)行的任務(wù)調(diào)度

把Job分給YarnChild執(zhí)行

監(jiān)控YarnChild的執(zhí)行情況

YarnChild負(fù)責(zé)：

執(zhí)行MRAppMaster分配的計(jì)算任務(wù)

RM生產(chǎn)環(huán)境中是要做HA的

6.Hadoop MapReduce中的 MRAppMaster，相當(dāng)于Spark中的Driver，Hadoop MapReduce中的YarnChildren相當(dāng)于Spark中的CoarseGrainedExecutorBackend；

（Hadoop相對(duì)于Spark資源的損耗相當(dāng)多）

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文名稱：大數(shù)據(jù)IMF-L38-MapReduce內(nèi)幕解密聽課筆記及總結(jié)-創(chuàng)新互聯(lián)
標(biāo)題鏈接：http://chinadenli.net/article14/cogcde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、建站公司、App開發(fā)、標(biāo)簽優(yōu)化、Google、網(wǎng)頁設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)