本篇內(nèi)容介紹了“Hadoop1.x和Hadoop2.x哪個(gè)更好”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

目前成都創(chuàng)新互聯(lián)已為上1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站改版維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、馬關(guān)網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

 

Hadoop1.x構(gòu)成： HDFS、MapReduce(資源管理和任務(wù)調(diào)度)；運(yùn)行時(shí)環(huán)境為JobTracker和TaskTracker；

Hadoop2.0構(gòu)成：HDFS、MapReduce/其他計(jì)算框架、YARN； 運(yùn)行時(shí)環(huán)境為YARN

1、HDFS：HA、NameNode Federation

2、MapReduce/其他計(jì)算框架：運(yùn)行在YARN之上的MapReduce通常稱之為MapReduce2.0（MRv2）

3、YARN：資源管理系統(tǒng)（Yet Another Resource Negotiator），在其之上可以運(yùn)行各種計(jì)算框架，如：MapReduce、Storm、Spark等；

HDFS2.0

解決HDFS1.0中單點(diǎn)故障和內(nèi)存受限問題

解決單點(diǎn)故障： HDFS HA（High Available）

通過主備NameNode，當(dāng)主NameNode發(fā)生故障時(shí)則切換到備NameNode；

解決內(nèi)存受限問題： HDFS Federation

水平擴(kuò)展，支持多個(gè)NameNode；

每個(gè)NameNode分管一部分目錄；不同的NameNode可以分管不同的應(yīng)用；

所有NameNode共享所有DataNode存儲的資源；

HDFS2.0和HDFS1.0相比、僅是架構(gòu)上發(fā)生了變化，使用方式不變，對HDFS使用者來說是透明的。比如說hdfs shell命令：

hadoop fs -ls /luogankun

hadoop fs -mkdir /luogankun/data

在HDFS1.0和HDFS2.0中用法是一致的。

YARN

Hadoop2.0新引入的資源管理系統(tǒng)

YARN核心思想：將MRv1中JobTracker的資源管理和任務(wù)調(diào)度分開，分別由ResourceManager和ApplicationMaster進(jìn)程實(shí)現(xiàn)；

ResourceManager：負(fù)責(zé)整個(gè)集群的資源管理；整個(gè)集群只有一個(gè)；

ApplicationMaster：負(fù)責(zé)應(yīng)用程序相關(guān)的事務(wù)，比如：任務(wù)調(diào)度、任務(wù)監(jiān)控和任務(wù)容錯(cuò)；一個(gè)應(yīng)用程序?qū)?yīng)一個(gè)ApplicationMaster；

YARN引入的好處：使得多個(gè)計(jì)算框架可以運(yùn)行在一個(gè)集群中，比如：MapReduce、Spark、Storm等；

MapReduce On YARN

運(yùn)行在YARN之上的MapReduce稱為MRv2；

將MapReduce作業(yè)直接運(yùn)行在YARN上，而不是運(yùn)行在由JobTracker和TaskTracker構(gòu)建的MRv1之上；在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模塊基本功能：

1、YARN：負(fù)責(zé)資源管理和調(diào)度；

2、MRAppMaster：負(fù)責(zé)一個(gè)應(yīng)用程序/作業(yè)的任務(wù)切分、任務(wù)調(diào)度、任務(wù)監(jiān)控和容錯(cuò)；

3、Map/Reduce Task：任務(wù)驅(qū)動(dòng)引擎，與MRv1一致；

每個(gè)應(yīng)用程序/作業(yè)對應(yīng)一個(gè)MRAppMaster，所以：

1、單個(gè)應(yīng)用程序/作業(yè)運(yùn)行失敗，不會影響其他應(yīng)用程序/作業(yè)；

2、負(fù)責(zé)應(yīng)用程序/作業(yè)相關(guān)的事務(wù)，包括將從YARN分配得到的資源二次分配給內(nèi)部的任務(wù)、任務(wù)切分、任務(wù)健康和容錯(cuò)等；

“Hadoop1.x和Hadoop2.x哪個(gè)更好”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站標(biāo)題：Hadoop1.x和Hadoop2.x哪個(gè)更好
當(dāng)前鏈接：http://chinadenli.net/article6/gshjig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、網(wǎng)站策劃、用戶體驗(yàn)、網(wǎng)站維護(hù)、營銷型網(wǎng)站建設(shè)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)