創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比蕭山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式蕭山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋蕭山地區(qū)。費用合理售后完善，十載實體公司更值得信賴。

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)Hadoop集群如何搭建，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1、發(fā)行版本說明

Hadoop 發(fā)行版本分為開源社區(qū)版和商業(yè)版。社區(qū)版是指由 Apache 軟件基金會維護(hù)的版本，是官方維護(hù)的版本體系。 商業(yè)版 Hadoop 是指由第三方商業(yè)公司在社區(qū)版 Hadoop 基礎(chǔ)上進(jìn)行了一些修改、整合以及各個服務(wù)組件兼容性測試而發(fā)行的版本，比較著名的有   cloudera的 CDH、mapR、hortonWorks 等。

我們等會要學(xué)習(xí)的是商業(yè)版：cloudera 的 CDH。如未說明都指 CDH版本。Hadoop 的版本很特殊，是由多條分支并行的發(fā)展著。大的來看分為3個大的系列版本：1.x、2.x、3.x。Hadoop1.0 由一個分布式文件系統(tǒng) HDFS和一個離線計算框架 MapReduce 組成。

Hadoop 2.0 則包含一個支持 NameNode 橫向擴(kuò)展的 HDFS，一個資源管理系統(tǒng)YARN 和一個運行在 YARN 上的離線計算框架 MapReduce。相比于 Hadoop1.0， Hadoop 2.0 功能更加強大，且具有更好的擴(kuò)展性、性能，并支持多種計算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增強。目前已經(jīng)趨于穩(wěn)定，但是整個生態(tài)圈體系升級整合還未完畢，所以商用還值得商榷。 我們要講的Hadoop集群搭建過程，使用的是當(dāng)前 2 系列最穩(wěn)定版本：CDH 2.6.0-CDH14.0。

2、Hadoop集群簡介

Hadoop集群具體來說包含兩個集群：HDFS 集群和 YARN 集群，兩者邏輯上分離，但物理上常在一起。HDFS集群負(fù)責(zé)海量數(shù)據(jù)的存儲，集群中的角色主要有：NameNode 、 DataNode 、 SecondaryNameNode。YARN 集群負(fù)責(zé)海量數(shù)據(jù)運算時的資源調(diào)度，集群中的角色主要有： ResourceManager、NodeManager。

那 mapreduce是什么呢？它其實是一個分布式運算編程框架，是應(yīng)用程序開發(fā)包，由用戶按照編程規(guī)范進(jìn)行程序開發(fā)，后打包運行在 HDFS 集群上，并且受到 YARN 集群的資源調(diào)度管理。Hadoop 部署方式分三種，Standalone mode（獨立模式）、Pseudo-Distributed mode（偽分布式模式）、Cluster mode（群集模式），其中前兩種都是在單機部署。獨立模式又稱為單機模式，僅 1 個機器運行 1 個 java 進(jìn)程，主要用于調(diào)試。偽分布模式也是在 1 個機器上運行 HDFS 的 NameNode 和 DataNode、YARN 的ResourceManger 和 NodeManager，但分別啟動單獨的 java 進(jìn)程，主要用于調(diào)試。集群模式主要用于生產(chǎn)環(huán)境部署。會使用 N 臺主機組成一個 Hadoop 集群。這種部署模式下，主節(jié)點和從節(jié)點會分開部署在不同的機器上。我們以 3 節(jié)點為例進(jìn)行搭建，角色分配如下：

node-01   NameNode                         DataNode         ResourceManager

node-02   DataNode                  NodeManager          SecondaryNameNode

node-03   DataNode         NodeManager

3、服務(wù)器準(zhǔn)備

本案例使用 VMware Workstation Pro 虛擬機創(chuàng)建虛擬服務(wù)器來搭建 HADOOP 集群，所用軟件及版本如下：

VMware Workstation Pro 12.0

Centos     6.9   64bit

4、網(wǎng)絡(luò)環(huán)境準(zhǔn)備

采用 NAT 方式聯(lián)網(wǎng)。如果創(chuàng)建的是桌面版的 Centos 系統(tǒng)，可以在安裝完畢后通過圖形頁面進(jìn)行編輯。如果是 mini 版本的，可通過編輯 ifcfg-eth*配置文件進(jìn)行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。

5、服務(wù)器系統(tǒng)設(shè)置

同步時間

#同步集群各機器時間

date -s "2019-03-03 03:03:03" yum install ntpdate

#網(wǎng)絡(luò)同步時間

ntpdate cn.pool.ntp.org 

設(shè)置主機名

vi /etc/sysconfig/network NETWORKING=yes

HOSTNAME=node-1  

配置 IP、主機名映射vi /etc/hosts

192.168.33.101     node-1

192.168.33.102     node-2

192.168.33.103     node-3

配置 ssh 免密登陸

#生成 ssh 免登陸密鑰

ssh-keygen -t rsa （四個回車）

執(zhí)行完這個命令后，會生成 id_rsa（私鑰）、id_rsa.pub（公鑰）

將公鑰拷貝到要免密登陸的目標(biāo)機器上

ssh-copy-id node-2

配置防火墻

#查看防火墻狀態(tài)

service iptables status

#關(guān)閉防火墻

service iptables stop

#查看防火墻開機啟動狀態(tài)

chkconfig iptables --list

#關(guān)閉防火墻開機啟動

chkconfig iptables off

6、JDK 環(huán)境安裝

#上傳 jdk 安裝包 

jdk-8u65-linux-x64.tar.gz

#解壓安裝包

tar zxvf jdk-8u65-linux-x64.tar.gz 

#配置環(huán)境變量 /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置

source /etc/profile

上述就是小編為大家分享的Hadoop集群如何搭建了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

分享標(biāo)題：Hadoop集群如何搭建-創(chuàng)新互聯(lián)
瀏覽地址：http://chinadenli.net/article26/coshcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計公司、Google、品牌網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、網(wǎng)站策劃、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)