這篇文章主要介紹“Hadoop Mapreduce架構(gòu)分析”，在日常操作中，相信很多人在Hadoop Mapreduce架構(gòu)分析問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop Mapreduce架構(gòu)分析”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

10年品牌的成都網(wǎng)站建設(shè)公司,數(shù)千家企業(yè)網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn).價(jià)格合理,可準(zhǔn)確把握網(wǎng)頁(yè)設(shè)計(jì)訴求.提供定制網(wǎng)站建設(shè)、商城網(wǎng)站定制開發(fā)、小程序設(shè)計(jì)、響應(yīng)式網(wǎng)站建設(shè)等服務(wù),我們?cè)O(shè)計(jì)的作品屢獲殊榮,是您值得信賴的專業(yè)網(wǎng)站建設(shè)公司。

1、Client

用戶編寫的MapReduce程序通過Client提交到JobTracker端；同時(shí)，用戶可通過Client提供的一些接口查看作業(yè)運(yùn)行狀態(tài)。在Hadoop內(nèi)部用“作業(yè)”Job表示MapReduce程序。一個(gè)MapReduce程序可對(duì)應(yīng)若干個(gè)作業(yè)，而每個(gè)作業(yè)會(huì)被分解成若干個(gè)Map/Reduce任務(wù)（Task）。

2、JobTracker

JobTracker主要負(fù)責(zé)作業(yè)調(diào)度和資源監(jiān)控。

作業(yè)調(diào)度：監(jiān)控所有TaskTracker與作業(yè)的健康狀況，一旦發(fā)現(xiàn)失敗情況后，其會(huì)將相應(yīng)的任務(wù)轉(zhuǎn)移到其它節(jié)點(diǎn)。

資源監(jiān)控：JobTracker會(huì)跟蹤任務(wù)執(zhí)行進(jìn)度、資源使用量等信息，并將這些信息告訴任務(wù)調(diào)度器，而調(diào)度器會(huì)在資源出現(xiàn)空閑時(shí)，選擇合適的任務(wù)使用這些資源。在Hadoop中任務(wù)調(diào)度器是一個(gè)可插撥的模塊，可自行設(shè)計(jì)。

3、TaskTracker

TaskTracker會(huì)周期性地通過Heartbeat將本節(jié)點(diǎn)上資源的使用情況和任務(wù)的運(yùn)行進(jìn)度匯報(bào)給JobTracker，同時(shí)接收J(rèn)obTracker發(fā)送過來的命令并執(zhí)行相應(yīng)的操作（如啟動(dòng)新任務(wù)、殺死任務(wù)等）。

TaskTracker使用"slot"等量劃分本節(jié)點(diǎn)上的資源量。”slot“代表計(jì)算資源。一個(gè)Task獲取一個(gè)slot后才有機(jī)會(huì)運(yùn)行。而Hadoop調(diào)度器的作用就是將各個(gè)TaskTracker上的空閑slot分配給Task使用。slot分為Map slot和Reduce slot兩種，分別供Map Task和Reduce Task使用。TaskTracker通過slot數(shù)目限定Task的并發(fā)度。

4、Task

Task分為Map Task 和Reduce Task兩種，均由TaskTracker啟動(dòng)。HDFS以固定大小的block為基本單位存儲(chǔ)數(shù)據(jù)，而對(duì)MapReduce而言，其處理單位是split。split與block的對(duì)應(yīng)關(guān)系如下圖

split是一個(gè)邏輯概念，它只包含一些元數(shù)據(jù)信息，比如數(shù)據(jù)起始位置、數(shù)據(jù)長(zhǎng)度、數(shù)據(jù)所在節(jié)點(diǎn)等.劃分方法完全由用戶自己決定。split的多少?zèng)Q定Map Task數(shù)量，一個(gè)split對(duì)應(yīng)一個(gè)Map Task。

Map Task執(zhí)行過程如下圖：

Map Task先將對(duì)應(yīng)的split迭代解析成一個(gè)key/value對(duì)，依次調(diào)用map函數(shù)進(jìn)行處理，并將處理結(jié)果存放在本地磁盤，其中臨時(shí)數(shù)據(jù)被分為若干個(gè)partition，每個(gè)partition將被一個(gè)Reduce Task處理。

Reduce Task執(zhí)行過程如下圖：

該過程分為三個(gè)階段：1、shuffle階段，從遠(yuǎn)程節(jié)點(diǎn)上讀取Map Task中間結(jié)果；2、Sort階段，按照key對(duì)key/value進(jìn)行排序；3、reduce階段，依次讀取<key,value list>，調(diào)用reduce函數(shù)處理，并存入HDFS。

到此，關(guān)于“Hadoop Mapreduce架構(gòu)分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

網(wǎng)頁(yè)題目：HadoopMapreduce架構(gòu)分析
瀏覽地址：http://chinadenli.net/article16/pigpdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、搜索引擎優(yōu)化、網(wǎng)站內(nèi)鏈、域名注冊(cè)、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)