在之前的Hadoop是什么中已經(jīng)說(shuō)過(guò)MapReduce采用了分而治之的思想，MapReduce主要分為兩部分，一部分是Map——分，一部分是Reduce——合

公司主營(yíng)業(yè)務(wù)：成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)建站是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來(lái)驚喜。創(chuàng)新互聯(lián)建站推出慈利免費(fèi)做網(wǎng)站回饋大家。

MapReduce全過(guò)程的數(shù)據(jù)都是以鍵值對(duì)的形式存在的
如果你想了解大數(shù)據(jù)的學(xué)習(xí)路線，想學(xué)習(xí)大數(shù)據(jù)知識(shí)以及需要免費(fèi)的學(xué)習(xí)資料可以加群：784789432.歡迎你的加入。每天下午三點(diǎn)開直播分享基礎(chǔ)知識(shí)，晚上20:00都會(huì)開直播給大家分享大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)。

首先，我們假設(shè)我們有一個(gè)文件，文件中存了以下內(nèi)容

hive spark hive hbase
hadoop hive spark
sqoop flume scala

這里涉及到一個(gè)偏移量（一個(gè)字符或空格為1位）
第一行的偏移量為0，內(nèi)容為“hive spark hive hbase”
第二行的偏移量為21，內(nèi)容為“hadoop hive spark”
第三行的偏移量為39，內(nèi)容為“sqoop flume scala”

Map
輸入
MapReduce處理的數(shù)據(jù)是從HDFS中讀出來(lái)的
以偏移量為key，內(nèi)容value，則存在：
（0，“hive spark hive hbase”）
（21，“hadoop hive spark”）
（39，“sqoop flume scala”）
輸出
將輸入的value中的詞以空格為分割逐個(gè)取出來(lái)做key，1做value存起來(lái)
（hive，1）
（spark，1）
（hive，1）
（hbase，1）
（hadoop，1）
注意：有多少行，Map就要循環(huán)做幾次
shuffle（之后會(huì)詳細(xì)說(shuō)，這里簡(jiǎn)單解釋）
輸入
map的輸出
輸出
相同的key的value進(jìn)行合并
這里合并不是進(jìn)行累加或別的運(yùn)算，而是合并到一個(gè)集合中
（hive，[1,1,1]）
（spark,[1,1]）
（hbase，[1]）
（hadoop，[1]）
。。。。。。
reduce
輸入
shuffle的輸出
輸出
根據(jù)業(yè)務(wù)將value進(jìn)行合并
例如當(dāng)前的業(yè)務(wù)就會(huì)將value進(jìn)行累加
MapReduce處理數(shù)據(jù)五步走
整個(gè)MapReduce程序，所有數(shù)據(jù)以（key，value）形式流動(dòng)

第一步：input
正常情況下不需要寫代碼
僅僅在MapReduce程序運(yùn)行的時(shí)候指定一個(gè)路徑即可

第二步：map（核心）
map（key，value，output，context）
key：每行數(shù)據(jù)的偏移量——基本沒(méi)用
value：每行數(shù)據(jù)的內(nèi)容——真正需要處理的內(nèi)容

第三步：shuffle
不需要寫代碼

第四步：reduce（核心）
reduce（key，value，output，context）
key：業(yè)務(wù)需求中的key
value：要聚合的值

第五步：output
正常情況下不需要寫代碼
僅僅在MapReduce程序運(yùn)行的時(shí)候指定一個(gè)路徑即可

工作原理
這里寫圖片描述

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁(yè)題目：以MapReduce編程五步走為基礎(chǔ)，說(shuō)MapReduce工作原理-創(chuàng)新互聯(lián)
標(biāo)題路徑：http://chinadenli.net/article30/diieso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、網(wǎng)站改版、網(wǎng)站導(dǎo)航、網(wǎng)站排名、自適應(yīng)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)