用戶編寫(xiě)的程序分成三個(gè)部分:Mapper、Reducer和Driver。

Mapper階段
(1)用戶自定義的Mapper要繼承自己的父類(lèi)
(2) Mapper的輸入數(shù)據(jù)是KV對(duì)的形式(KV的類(lèi)型可自定義)
(3) Mapper中的業(yè)務(wù)邏輯寫(xiě)在map(方法中
(4) Mapper的輸出數(shù)據(jù)是KV對(duì)的形式(KV的類(lèi)型可自定義)
(5) map()方法(MapTask進(jìn)程) 對(duì)每一個(gè)調(diào)用一-次
Reducer階 段
(1) 用戶自定義的Reducer要繼承自己的父類(lèi)
(2) Reducer的輸入數(shù)據(jù)類(lèi)型對(duì)應(yīng)Mapper的輸出數(shù)據(jù)類(lèi)型,也是KV
(3) Reducer的業(yè)務(wù)邏輯寫(xiě)在reduce()方法中
(4) ReduceTask進(jìn) 程對(duì)每- -組相同k的組調(diào)用一次reduce()方法
Driver階段
相當(dāng)于YARN集群的客戶端,用于提交我們整個(gè)程序到Y(jié)ARN集群,提交的是
封裝了MapReduce程序相關(guān)運(yùn)行參數(shù)的job對(duì)象。
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級(jí)服務(wù)器適合批量采購(gòu),新人活動(dòng)首月15元起,快前往官網(wǎng)查看詳情吧
文章標(biāo)題:大數(shù)據(jù)培訓(xùn)課程MapReduce編程規(guī)范-創(chuàng)新互聯(lián)
當(dāng)前URL:http://chinadenli.net/article40/dgpiho.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供小程序開(kāi)發(fā)、App開(kāi)發(fā)、定制開(kāi)發(fā)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站收錄、外貿(mào)網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容