這篇文章主要介紹“Hadoop分布式有哪些優(yōu)點(diǎn)”，在日常操作中，相信很多人在Hadoop分布式有哪些優(yōu)點(diǎn)問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”Hadoop分布式有哪些優(yōu)點(diǎn)”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

襄城網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司,襄城網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為襄城千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的襄城做網(wǎng)站的公司定做！

一、什么是Hadoop分布式系統(tǒng)？

從命名名稱上看，首先可以認(rèn)為他是一個(gè)工具，可能有人認(rèn)為是廢話，但是這個(gè)理念對(duì)我來說很重要，因?yàn)樗俏艺J(rèn)真學(xué)習(xí)下去的一個(gè)重要的理由，既然是工具我相信就能把他掌握。

他是一個(gè)分布式基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)，他的產(chǎn)生由Google公司的三篇著名的論文而來，也是Google提出云計(jì)算概念的由來，大家有時(shí)間可以閱讀一下這三篇經(jīng)典的論文。他是一種用戶在不必要分析底層的情況下，利用集群實(shí)現(xiàn)的一種處理高并發(fā)數(shù)據(jù)的計(jì)算和存儲(chǔ)的框架。他實(shí)現(xiàn)的功能就是讓用戶不必使用昂貴的服務(wù)器，利用平時(shí)的小型主機(jī)就可以完成海量數(shù)據(jù)的查詢與存儲(chǔ)的基礎(chǔ)框架。

二、Hadoop分布式有哪些優(yōu)點(diǎn)？

1、高可靠性 ：Hadoop 分布式具有很好的容錯(cuò)機(jī)制，假設(shè)一臺(tái)機(jī)器出現(xiàn)故障他維護(hù)的副本機(jī)器會(huì)直接替換掉出現(xiàn)故障的機(jī)器，以保證系統(tǒng)的正常運(yùn)行。

2、高擴(kuò)展性 ：Hadoop 可以利用計(jì)算機(jī)簇集成進(jìn)行計(jì)算，可以很輕松的擴(kuò)展到數(shù)千的計(jì)算機(jī)節(jié)點(diǎn)。

3、高效性 ：Hadoop 充分利用其分布式集群的特點(diǎn)，將海量數(shù)據(jù)分塊處理，并細(xì)分給每一臺(tái)小型計(jì)算機(jī)進(jìn)行計(jì)算，保證了他的高效率并行計(jì)算。

Hadoop 采用JAVA語言開發(fā)，所以跨平臺(tái)性非常好，等等還有很多優(yōu)點(diǎn)，在這里就不和大家一一介紹了。

三、Hadoop 核心之—— MapReduce

MapReduce的工作原理大致分為如下幾個(gè)階段：

客戶端：提交MapReduce作業(yè)。

Jobtracker:協(xié)調(diào)作業(yè)程序。Jobtracker是一個(gè)Java程序，他的主類是JobTracker.

Tasktracker:運(yùn)行作業(yè)分配后的任務(wù)，他也是一個(gè)Java應(yīng)用程序，他的主類是TaskTracker.

分布式文件系統(tǒng)：一般為HDFS,用來實(shí)現(xiàn)實(shí)體間的共享作業(yè)文件。

1、作業(yè)提交

JobClient的RunJob()方法用于創(chuàng)建JobClient實(shí)例，并調(diào)用submitJob()方法的便捷方式，調(diào)用runJob()方法對(duì)作業(yè)進(jìn)行輪詢，如果發(fā)現(xiàn)作業(yè)有變化，他自動(dòng)將作業(yè)提交到控制臺(tái)。如果提交成功他會(huì)把作業(yè)計(jì)數(shù)提交到控制臺(tái)，如果失敗的話他會(huì)將錯(cuò)誤記錄提交到控制臺(tái)。

2、作業(yè)初始化

當(dāng)JobTracker通過調(diào)用其submitJob()得到作業(yè)后，會(huì)放進(jìn)內(nèi)部的作業(yè)隊(duì)列當(dāng)中，交由作業(yè)調(diào)度器（job scheduler）進(jìn)行調(diào)度，并對(duì)其進(jìn)行初始化。初始化包括，創(chuàng)建一個(gè)正在運(yùn)行的業(yè)務(wù)對(duì)象，任務(wù)和記錄，這樣就方便程序跟蹤任務(wù)的運(yùn)行狀態(tài)和進(jìn)程。

3、作業(yè)的分配

tasktarcker運(yùn)行一個(gè)簡單的循環(huán)，定期發(fā)送‘心跳’給JobTracker,他會(huì)告訴JobTracker，tasktracker是否還活著，同時(shí)也充當(dāng)兩者之間溝通的橋梁。

任務(wù)執(zhí)行

tasktracker已經(jīng)被分配了一個(gè)任務(wù)，下一步就是運(yùn)行了，首先，他會(huì)通過共享文件系統(tǒng)把作業(yè)Jar文件復(fù)制到tasktracker所在的文件系統(tǒng)，從而實(shí)現(xiàn)作業(yè)的JAR文件的本地化，tasktracker,將應(yīng)用程序，從分布式緩存復(fù)制到本地磁盤中并進(jìn)行解壓，然后創(chuàng)建任務(wù)實(shí)例，并運(yùn)行。

4、進(jìn)度和狀態(tài)

MapReduce作業(yè)是常時(shí)間批量作業(yè)，運(yùn)行時(shí)間從幾秒到幾小時(shí)甚至更長，這么長的時(shí)間用戶肯定需要掌握作業(yè)的進(jìn)展情況，一個(gè)作業(yè)和他的每個(gè)任務(wù)都有一個(gè)狀態(tài)，包括作業(yè)或任務(wù)的狀態(tài)如：運(yùn)行狀態(tài)，成功狀態(tài)，失敗狀態(tài)，map和reduce的進(jìn)度，作業(yè)計(jì)數(shù)器的值，狀態(tài)消息，或描述等等。這些狀態(tài)都是隨著作業(yè)時(shí)間的改變而不斷變化。

5、作業(yè)完成

當(dāng)JobTracker收到作業(yè)最后一個(gè)任務(wù)已經(jīng)完成的通知后，便把作業(yè)狀態(tài)改為成功，然后JobClient查詢狀態(tài)時(shí)，便知道執(zhí)行的任務(wù)已經(jīng)執(zhí)行成功了。于是JobClient端會(huì)打印給客戶消息告知客戶，然后從runJob（）方法返回。

到此，關(guān)于“Hadoop分布式有哪些優(yōu)點(diǎn)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

當(dāng)前標(biāo)題：Hadoop分布式有哪些優(yōu)點(diǎn)
轉(zhuǎn)載來于：http://chinadenli.net/article44/jgcehe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站策劃、微信小程序、域名注冊(cè)、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)