這篇文章主要介紹了Hadoop2和Hadoop3有什么區(qū)別，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括市中網(wǎng)站建設(shè)、市中網(wǎng)站制作、市中網(wǎng)頁制作以及市中網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，市中網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到市中省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

Hadoop 2.x與Hadoop 3.x比較

本節(jié)將講述Hadoop 2.x與Hadoop 3.x之間的22個(gè)差異。 現(xiàn)在讓我們逐一討論

2.1License

Hadoop 2.x - Apache 2.0，開源
Hadoop 3.x - Apache 2.0，開源

2.2支持的最低Java版本

Hadoop 2.x - java的最低支持版本是java 7
Hadoop 3.x - java的最低支持版本是java 8

2.3容錯(cuò)

Hadoop 2.x - 可以通過復(fù)制（浪費(fèi)空間）來處理容錯(cuò)。
Hadoop 3.x - 可以通過Erasure編碼處理容錯(cuò)。

2.4數(shù)據(jù)平衡

Hadoop 2.x - 對(duì)于數(shù)據(jù)平衡使用HDFS平衡器。
Hadoop 3.x - 對(duì)于數(shù)據(jù)平衡使用Intra-data節(jié)點(diǎn)平衡器，該平衡器通過HDFS磁盤平衡器CLI調(diào)用。

2.5存儲(chǔ)Scheme

Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支持HDFS中的擦除編碼。

2.6存儲(chǔ)開銷

Hadoop 2.x - HDFS在存儲(chǔ)空間中有200％的開銷。
Hadoop 3.x - 存儲(chǔ)開銷僅為50％。

2.7存儲(chǔ)開銷示例

Hadoop 2.x - 如果有6個(gè)塊，那么由于副本方案（Scheme），將有18個(gè)塊占用空間。
Hadoop 3.x - 如果有6個(gè)塊，那么空間9個(gè)塊，中6塊空間，3塊用于奇偶校驗(yàn)。

2.8YARN時(shí)間線服務(wù)

Hadoop 2.x - 使用具有可伸縮性問題的舊時(shí)間軸服務(wù)。
Hadoop 3.x - 改進(jìn)時(shí)間線服務(wù)v2并提高時(shí)間線服務(wù)的可擴(kuò)展性和可靠性。

2.9默認(rèn)端口范圍

Hadoop 2.x - 在Hadoop 2.0中，一些默認(rèn)端口是Linux臨時(shí)端口范圍。所以在啟動(dòng)時(shí)，他們將無法綁定。
Hadoop 3.x - 但是在Hadoop 3.0中，這些端口已經(jīng)移出了短暫的范圍。

2.10工具

Hadoop 2.x - 使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。

2.11兼容的文件系統(tǒng)

Hadoop 2.x - HDFS（默認(rèn)FS），F(xiàn)TP文件系統(tǒng)：它將所有數(shù)據(jù)存儲(chǔ)在可遠(yuǎn)程訪問的FTP服務(wù)器上。 Amazon S3（簡單存儲(chǔ)服務(wù)）文件系統(tǒng)Windows Azure存儲(chǔ)Blob（WASB）文件系統(tǒng)。
Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系統(tǒng)。

2.12Datanode資源

Hadoop 2.x - Datanode資源不專用于MapReduce，我們可以將它用于其他應(yīng)用程序。
Hadoop 3.x - 此處數(shù)據(jù)節(jié)點(diǎn)資源也可用于其他應(yīng)用程序。

2.13MR API兼容性

Hadoop 2.x - 與Hadoop 1.x程序兼容的MR API，可在Hadoop 2.X上執(zhí)行
Hadoop 3.x - 此處，MR API與運(yùn)行Hadoop 1.x程序兼容，以便在Hadoop 3.X上執(zhí)行

2.14支持Microsoft Windows

Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支持Windows。

2.15插槽/容器

Hadoop 2.x - Hadoop 1適用于插槽的概念，但Hadoop 2.X適用于容器的概念。通過容器，我們可以運(yùn)行通用任務(wù)。
Hadoop 3.x - 它也適用于容器的概念。

2.16單點(diǎn)故障

Hadoop 2.x - 具有SPOF的功能，因此只要Namenode失敗，它就會(huì)自動(dòng)恢復(fù)。
Hadoop 3.x - 具有SPOF的功能，因此只要Namenode失敗，它就會(huì)自動(dòng)恢復(fù)，無需人工干預(yù)就可以克服它。

2.17HDFS聯(lián)盟

Hadoop 2.x - 在Hadoop 1.0中，只有一個(gè)NameNode來管理所有Namespace，但在Hadoop 2.0中，多個(gè)NameNode用于多個(gè)Namespace。
Hadoop 3.x - Hadoop 3.x還有多個(gè)名稱空間用于多個(gè)名稱空間。

2.18可擴(kuò)展性

Hadoop 2.x - 我們可以擴(kuò)展到每個(gè)群集10,000個(gè)節(jié)點(diǎn)。
Hadoop 3.x - 更好的可擴(kuò)展性。 我們可以為每個(gè)群集擴(kuò)展超過10,000個(gè)節(jié)點(diǎn)。

2.19更快地訪問數(shù)據(jù)

Hadoop 2.x - 由于數(shù)據(jù)節(jié)點(diǎn)緩存，我們可以快速訪問數(shù)據(jù)。
Hadoop 3.x - 這里也通過Datanode緩存我們可以快速訪問數(shù)據(jù)。

2.20HDFS快照

Hadoop 2.x - Hadoop 2增加了對(duì)快照的支持。 它為用戶錯(cuò)誤提供災(zāi)難恢復(fù)和保護(hù)。
Hadoop 3.x - Hadoop 2也支持快照功能。

2.21平臺(tái)

Hadoop 2.x - 可以作為各種數(shù)據(jù)分析的平臺(tái)，可以運(yùn)行事件處理，流媒體和實(shí)時(shí)操作。
Hadoop 3.x - 這里也可以在YARN的頂部運(yùn)行事件處理，流媒體和實(shí)時(shí)操作。

2.22群集資源管理

Hadoop 2.x - 對(duì)于群集資源管理，它使用YARN。 它提高了可擴(kuò)展性，高可用性，多租戶。
Hadoop 3.x - 對(duì)于集群，資源管理使用具有所有功能的YARN。

hadoop3.X比hadoop2.x的改進(jìn)

Common主要改進(jìn)：
    Shell script rewrite
     過時(shí)API刪除

HDFS改進(jìn)：
    支持erasure編碼
    支持超過兩個(gè)namenode
    數(shù)據(jù)均衡
    多個(gè)服務(wù)端口發(fā)生變化

Yarn改進(jìn)：
 YARN Timeline Service v.2
 Support for Opportunistic Containers and Distributed Scheduling

MapRduece改進(jìn)：
    MapReduce task-level native optimization
    Reworked daemon and task heap management

其他新特性：
 Shared client jars

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hadoop2和Hadoop3有什么區(qū)別”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

本文名稱：Hadoop2和Hadoop3有什么區(qū)別
文章分享：http://chinadenli.net/article48/jpcpep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、外貿(mào)建站、虛擬主機(jī)、網(wǎng)站導(dǎo)航、網(wǎng)站建設(shè)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)