這篇文章主要介紹“Hadoop的聯(lián)邦怎么創(chuàng)建”，在日常操作中，相信很多人在Hadoop的聯(lián)邦怎么創(chuàng)建問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop的聯(lián)邦怎么創(chuàng)建”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

10余年的瓊山網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。成都全網(wǎng)營(yíng)銷的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整瓊山建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。成都創(chuàng)新互聯(lián)從事“瓊山網(wǎng)站設(shè)計(jì)”,“瓊山網(wǎng)站推廣”以來(lái)，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

一、為什么會(huì)出現(xiàn)聯(lián)邦？

Hadoop 的 NN 所使用的資源受所在服務(wù)的物理限制，不能滿足實(shí)際生產(chǎn)需求。

二、聯(lián)邦的實(shí)現(xiàn)

采用多臺(tái) NN 組成聯(lián)邦。NN 是獨(dú)立的，NN 之間不需要相互調(diào)用。NN 是聯(lián)合的，同屬于一個(gè)聯(lián)邦，所管理的 DN 作為 block 的公共存儲(chǔ)。block pool 的概念，每一個(gè) namespace 都有一個(gè) pool，datanodes 會(huì)存儲(chǔ)集群中所有的 pool，block pool 之間的管理是獨(dú)立的，一個(gè) namespace 生成一個(gè) blockid 時(shí)不需要跟其它 namespace 協(xié)調(diào)，一個(gè) namenode 的失敗也不會(huì)影響到 datanode對(duì)其它 namenodes 的服務(wù)。一個(gè) namespace 和它的 block pool 作為一個(gè)管理單元，刪除后，對(duì)應(yīng)于datanodes 中的 pool 也會(huì)被刪除。集群升級(jí)時(shí)，這個(gè)管理單元也獨(dú)立升級(jí)。這里引入 clusterID 來(lái)標(biāo)示集群所有節(jié)點(diǎn)。當(dāng)一個(gè) namenode format 之后，這個(gè) id 生成，集群中其它 namenode 的 format 也用這個(gè) id。

三、主要優(yōu)點(diǎn)：

命名空間可伸縮性——聯(lián)合添加命名空間水平擴(kuò)展。DN 也隨著 NN 的加入而得到拓展。

性能——文件系統(tǒng)吞吐量不是受單個(gè)Namenode 限制。添加更多的Namenode集群擴(kuò)展文件系統(tǒng)讀/寫吞吐量。

隔離——隔離不同類型的程序，一定程度上控制資源的分配

四、配置：

聯(lián)邦的配置是向后兼容的，允許在不改變?nèi)魏闻渲玫那闆r下讓當(dāng)前運(yùn)行的單節(jié)點(diǎn)環(huán)境轉(zhuǎn)換成聯(lián)邦環(huán)境。新的配置方案確保了在集群環(huán)境中的所有節(jié)點(diǎn)的配置文件都是相同的。這里引入了 NameServiceID 概念，作為 namenodes 們的后綴。第一步：配置屬性 dfs.nameservices，用于 datanodes 們識(shí)別 namenodes。第二步：為每個(gè) namenode 加入這個(gè)后綴。

五、操作:

# 創(chuàng)建聯(lián)邦，不指定 ID 會(huì)自動(dòng)生成

$HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]

# 升級(jí) Hadoop 為集群

$HADOOP_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR

-upgrade -clusterId <cluster_ID>

# 擴(kuò)展已有聯(lián)邦

$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes

<datanode_host_name>：<datanode_rpc_port>

# 退出聯(lián)邦

$HADOOP_HOME/sbin/distribute-exclude.sh <exclude_file>

$HADOOP_HOME/sbin/refresh-namenodes.sh

什么是 CDH 下載地址 ： http：//archive.cloudera.com/cdh6/cdh/5/ CDH (Cloudera's Distribution， including Apache Hadoop)，是 Hadoop眾多分支中的一種，由 Cloudera 維護(hù)，基于穩(wěn)定版本的 Apache Hadoop 構(gòu)建，并集成了很多補(bǔ)丁， 可直接用于生產(chǎn)環(huán)境。

CDH 的優(yōu)點(diǎn)： 版本劃分清晰

版本更新速度快

支持 Kerberos 安全認(rèn)證文檔清晰

支持多種安裝方式（Cloudera Manager、YUM、RPM、Tarball） 什么是 CM Cloudera Manager? 是為了便于在集群中進(jìn)行 Hadoop

等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對(duì)集群中主機(jī)、Hadoop、Hive、Spark 等服務(wù)的安裝配置管理做了極大簡(jiǎn)化。
Cloudera Manager 有四大功能：

（1）管理：對(duì)集群進(jìn)行管理，如添加、刪除節(jié)點(diǎn)等操作。

（2）監(jiān)控：監(jiān)控集群的健康情況，對(duì)設(shè)置的各種指標(biāo)和系統(tǒng)運(yùn)行情況進(jìn)行全面監(jiān)控。

（3）診斷：對(duì)集群出現(xiàn)的問題進(jìn)行診斷，對(duì)出現(xiàn)的問題給出建議解決方案。

（4）集成：對(duì) hadoop 的多組件進(jìn)行整合。

到此，關(guān)于“Hadoop的聯(lián)邦怎么創(chuàng)建”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

本文標(biāo)題：Hadoop的聯(lián)邦怎么創(chuàng)建-創(chuàng)新互聯(lián)
文章位置：http://chinadenli.net/article2/dsgsic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、定制網(wǎng)站、商城網(wǎng)站、自適應(yīng)網(wǎng)站、企業(yè)網(wǎng)站制作、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)