這期內容當中小編將會給大家?guī)碛嘘PHPCC 和 Hadoop 的區(qū)別是什么，文章內容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯公司網站建設10余年堅持，服務企業(yè)網站設計、自適應網站建設等網站建設服務。數千家企業(yè)的合作經驗，幫助我們?yōu)榉掌髽I(yè)不斷提升價值。為企業(yè)建設開發(fā)網站和維護，主推個性化定制型網站設計

硬件環(huán)境

通常使用基于Intel或AMD CPU的刀片服務器來構建集群系統，為了降低成本可以使用已經停止銷售的過時硬件。節(jié)點有本地內存和硬盤，通過高速交換機相連（通常為千兆交換機），如果 集群節(jié)點很多，也可以使用分層交換。集群內的節(jié)點是對等的（所有資源可以簡化為相同配置），但這一點并非必須。

操作系統

Linux或windows

系統配置

實現HPCC集群用兩種配置：數據加工（Thor）類似于Hadoop的MapReduce集群；數據分發(fā)引擎（Roxie)提供了獨立的高性能在 線查詢 處理功能和數據倉庫功能。兩種配置都可以用做分布式文件系統，不過它們試圖提高性能的實現方法不同。HPCC環(huán)境通常由兩種配置類型的多個集群組成。雖然 每個集群上的文件系統相互獨立，但是一個集群可以訪問同一環(huán)境下位于其他集群上的文件系統內的文件。

Hadoop系統軟件使用MapReduce處理范例實現了集群。這樣的集群也可以用做運行HDFS的分布式文件系統。其他的功能都處Hadoop的MapReduce和Hbase,Hive等文件系統軟件之上。

授權和維護費用

HPCC:社團版本是免費的。企業(yè)版授權費用目前取決于集群大小和系統配置的類型。

Hadoop:免費，不過有多個廠商提供不同的付費的維護服務。

核心軟件

HPCC:如果使用了Thor配置，那么核心軟件包括安裝在集群每個節(jié)點上的操作系統和多種服務，它們來實現任務的執(zhí)行和分布式文件系統的訪問。名 字為 Dali的獨立服務器提供文件系統名字服務和管理HPCC環(huán)境下任務的工作單元。Thor集群可以配置為一個主節(jié)點和多個備用節(jié)點。Roxie集群是一個 對等連接的集群，它的每個節(jié)點可運行服務器和執(zhí)行查詢以及密鑰和文件處理的任務代理。Roxie集群的文件系統使用分布式B+樹來存儲索引和數據，并提供 對加密數據的訪問。要對Thor和Roxie集群進行操作的話，附加的中間件組件是不可或缺的。

Hadoop:核心軟件包括操作系統、Hadoop的MapReduce集群和HDFS軟件。每個備用節(jié)點包括任務跟蹤服務和數據節(jié)點服務。主節(jié)點 包括任 務追蹤服務，任務追蹤服務可配置為獨立的硬件節(jié)點或者運行在一個備用硬件節(jié)點。類似地，對HDFS來說，要提供名字服務的話，主名字節(jié)點服務也是必須的， 并且可在一個備用的節(jié)點或者一個獨立的節(jié)點之上運行這個服務。

中間件

HPCC:中間件包括在MySQL服務器上實現的ECL代碼倉庫、編譯ECL程序和查詢的ECL服務器、ECL代理即Thor集群上管理任務執(zhí)行的 客戶端 程序，ESP服務器（企業(yè)服務平臺），它提供認證、日志記錄、安全以及執(zhí)行任務和提供Web服務環(huán)境的其他服務，Dali服務器，它可用作存儲任務工作單 元信息的系統數據和為分布式文件系統提供名字服務。中間件可以靈活地運行在一個到幾個節(jié)點上。多個這樣的服務器可以提供冗余備份和提高性能。

Hadoop:沒有中間件。客戶端軟件可以直接提交任務給集群主節(jié)點的任務追蹤器。作為服務器運行的Hadoop工作流調度器（HWS)的管理需要多個MapReduce序列的任務的功能正在開發(fā)中。

系統工具

HPCC包括用于管理、維護和監(jiān)視HPCC配置和環(huán)境的客戶端和操作工具套件。這個套件包括ECL IDE、程序開發(fā)環(huán)境、屬性遷移工具、分布式文件應用（DFU）、環(huán)境配置應用和Roxie配置應用。命令行版本也可用。ECLWatch是一個監(jiān)控 HPCC環(huán)境的基于Web的應用程序，它包括隊列管理，分布式文件系統管理、任務監(jiān)視和系統性能監(jiān)視工具。其他工具是通過Web服務接口提供的。

Hadoop:dfsadmin工具提供文件系統的狀態(tài)信息；fsck是一個檢查HDFS上文件的健康性的應用；數據節(jié)點塊掃描器定時地驗證數據節(jié) 點上所 有的存儲塊；平衡器根據需要把超負荷的數據節(jié)點上的阻塞重新發(fā)布到低負荷的數據節(jié)點上。MapReduce的WEB用戶接口包括顯示正在運行的和已經完成 的任務信息的任務追蹤器頁面；對一個具體的任務再向下點擊的話就可以看到這個任務的詳細信息。還有顯示Map和Reduce任務信息的任務頁面。

易部署 

HPCC:環(huán)境配置工具。源服務器有一個集中式倉庫，它分發(fā)操作系統級別的設置、服務和二進制文件到配置中所有可網絡啟動的節(jié)點上。

Hadoop:需要第三方應用向導提供的在線工具協助。需要手動部署RPM。

分布式文件系統

HPCC:Thor的分布式文件系統是面向記錄的，使用本地Linux文件系統存儲部分文件。文件是跨節(jié)點初始化裝載的（提取的），并且每個節(jié)點都 有一個 單獨的部分文件，對一個分布式文件來說，這個部分文件可為空。在由用戶指定的偶數個記錄/文檔范圍內對文件進行分割。主備結構通過存儲在獨立服務器的名字 服務和文件映射信息來分割。每個節(jié)點只需要一個本地文件來表示一個分布式文件。同一環(huán)境下多個集群之間也支持讀寫訪問權限設置。使用特定的適配器允許訪問 來自外部數據庫的比如MySQL的文件，允許事務數據與分布式文件數據合并且并入批處理的任務中。Roxie分布式文件系統使用了分布式B+樹索引文件， 這樣的文件包含了鍵值信息和存儲在每個節(jié)點的本地文件里的數據。

Hadoop:面向塊的，大多數安裝使用大小為64MB或者128MB的塊。塊是以節(jié)點的本地Unix/Linux文件系統的獨立單元/本地文件存 儲的。 每個塊的元數據信息存儲為一個獨立的文件。主備結構使用了單獨的名字節(jié)點提供名字服務和塊映射，并且使用了多個數據節(jié)點。文件劃分為塊并且分布地存儲在集 群的各個節(jié)點。跨節(jié)點存儲在一個節(jié)點上每個邏輯塊的多個本地文件（一個用來保存塊數據、一個用來保存元數據）來表示一個分布式文件。

容錯性

HPCC:Thor和Roxie的分布式文件系統（可配置）在其他節(jié)點上保存了部分文件的副本，以防止磁盤或者節(jié)點失效。Thor系統在一個節(jié)點失 效之后 提供了要么自動要么手動的切換和熱啟動，任務從最近一次檢查點重新啟動或者繼續(xù)運行。當復制數據到一個新的節(jié)點的時候，副本的制作自動進行。Roxie系 統在減少節(jié)點數而引起節(jié)點失效時繼續(xù)運行。

Hadoop:HDFS（可配置）在其他節(jié)點上存儲（用戶指定的）多個副本，以防止由于自動恢復出現的磁盤或節(jié)點失效。MapReduce架構包括了試探性執(zhí)行，當檢測到一個慢的或者失敗的Map任務時，其他Map任務將從失效的節(jié)點處開始恢復。

上述就是小編為大家分享的HPCC 和 Hadoop 的區(qū)別是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注創(chuàng)新互聯行業(yè)資訊頻道。

本文題目：HPCC和Hadoop的區(qū)別是什么
URL地址：http://chinadenli.net/article4/ppepie.html

成都網站建設公司_創(chuàng)新互聯，為您提供網頁設計公司、企業(yè)網站制作、網站改版、網站策劃、企業(yè)建站、搜索引擎優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯