下面給出的是spark集群搭建的環(huán)境：

創(chuàng)新互聯(lián)專注于井研網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供井研營銷型網(wǎng)站建設(shè)，井研網(wǎng)站制作、井研網(wǎng)頁設(shè)計、井研網(wǎng)站官網(wǎng)定制、微信小程序開發(fā)服務(wù)，打造井研網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供井研網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

操作系統(tǒng)：最小安裝的CentOS 7（下載地址）

Yarn對應(yīng)的hadoop版本號：Hadoop的Cloudera公司發(fā)行版Hadoop2.6.0-CDH5.4.0（下載地址）

Java版本號：JDK1.8（下載地址）

Scala版本號：Scala2.10.4（下載地址）

Spark版本號：spark-1.3.1-bin-hadoop2.6（下載地址）

集群組成：master  192.168.1.2

                     slave1   192.168.1.3

                     slave2   192.168.1.4

                     slave3   192.168.1.5

 

1、  操作系統(tǒng)的安裝

我覺得這個就沒必要說了，下載一個虛擬機(jī)或者直接在真機(jī)安裝，比較簡單，不再贅述。

2、  Java的安裝

請參看我的博文《Jdk1.8在CentOS7中的安裝與配置》有詳細(xì)說明。

3、  Scala的安裝

請參看我的博文《Scala2.10.4在CentOS7中的安裝與配置》有詳細(xì)說明。

4、  Yarn的部署

Yarn是由Hadoop2.x發(fā)展而來，是Hadoop1.x的JobTracker和TaskTracker的升級版本，是hadoop2.x的資源調(diào)度工具。搭建Hadoop2.x環(huán)境的時候，yarn會自動被搭建好，所以，我們只需要搭建hadoop環(huán)境即可。

Hadoop具體環(huán)境搭建，請參看我的博文《Hadoop2.6.0在CentOS 7中的集群搭建》有詳細(xì)說明。

5、  Spark的集群搭建

a)         首先，從官網(wǎng)下載spark1.3.1對應(yīng)hadoop2.6.0的版本（注：以下所有操作都在超級用戶模式下進(jìn)行?。?/p>

b)         在主節(jié)點(diǎn)master的root/app的目錄下，解壓下載好的spark-1.3.1-bin-hadoop2.6.tgz：

tar –xzvf spark-1.3.1-bin-hadoop2.6.tgz

c)         配置Spark的環(huán)境變量：

i. 　　vi  /etc/profile

ii.　　在文件最后添加：

## SPARK

export SPARK_HOME=spark的絕對路徑（我這邊是：/root/app/spark-1.3.1-bin-hadoop2.6）

export PATH=$PATH:$SPARK_HOME/bin

d)         Spark的相關(guān)文件配置

i.　　slaves的配置：

vi slaves

添加從節(jié)點(diǎn)slave名稱：

slave1

slave2

slave3

ii.　　spark-env.sh的配置

vi spark-env.sh

向文件添加：

export JAVA_HOME=Java安裝的絕對路徑（我這邊是：/root/app/jdk1.8）

export SCALA_HOME=Scala安裝的絕對路徑（我這邊是：/root/app/scala2.10）

export HADOOP_CONF_DIR=hadoop環(huán)境下的配置文件目錄etc/hadoop的絕對路徑（我這邊是：/root/app/hadoop-2.6.0-cdh6.4.0/etc/Hadoop）

export SPARK_MASTER_IP=主節(jié)點(diǎn)IP或主節(jié)點(diǎn)IP映射名稱（我這邊是：master）

export SPARK_MASTER_PORT=主節(jié)點(diǎn)啟動端口（默認(rèn)7077）

export PARK_MASTER_WEBUI_PORT=集群web監(jiān)控頁面端口（默認(rèn)8080）

export SPARK_WORKER_CORES=從節(jié)點(diǎn)工作的CPU核心數(shù)目（默認(rèn)1）

export SPARK_WORKER_PORT=從節(jié)點(diǎn)啟動端口（默認(rèn)7078）

export SPARK_WORKER_MEMORY=分配給Spark master和 worker 守護(hù)進(jìn)程的內(nèi)存空間（默認(rèn)512m）

export SPARK_WORKER_WEBUI_PORT=從節(jié)點(diǎn)監(jiān)控端口（默認(rèn)8081）

export SPARK_WORKER_INSTANCES=每臺從節(jié)點(diǎn)上運(yùn)行的worker數(shù)量 (默認(rèn): 1). PS：當(dāng)你有一個非常強(qiáng)大的計算的時候和需要多個Spark worker進(jìn)程的時候你可以修改這個默認(rèn)值大于1 . 如果你設(shè)置了這個值。要確保SPARK_WORKER_CORE 明確限制每一個worker的核心數(shù), 否則每個worker 將嘗試使用所有的核心。

3.　　我這邊的yarn部署是按照spark配置文件的默認(rèn)部署的，如果你想根據(jù)實(shí)際情況來部署的話，可以修改一下文件：

# - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files

# - SPARK_EXECUTOR_INSTANCES, Number of workers to start (Default: 2)

# - SPARK_EXECUTOR_CORES, Number of cores for the workers (Default: 1).

# - SPARK_EXECUTOR_MEMORY, Memory per Worker (e.g. 1000M, 2G) (Default: 1G)

# - SPARK_DRIVER_MEMORY, Memory for Master (e.g. 1000M, 2G) (Default: 512 Mb)

# - SPARK_YARN_APP_NAME, The name of your application (Default: Spark)

# - SPARK_YARN_QUEUE, The hadoop queue to use for allocation requests

# - SPARK_YARN_DIST_FILES, Comma separated list of files to be distributed with the job.

# - SPARK_YARN_DIST_ARCHIVES, Comma separated list of archives to be distributed with the job.

iii.　　Spark文件復(fù)制：

將配置好的Spark文件復(fù)制到各個從節(jié)點(diǎn)slave對應(yīng)的目錄上：

scp spark-1.3.1-bin-hadoop2.6/ root@slave1:/root/app

scp spark-1.3.1-bin-hadoop2.6/ root@slave2:/root/app

scp spark-1.3.1-bin-hadoop2.6/ root@slave3:/root/app

6、  Spark On Yarn的集群啟動：

a)　　Yarn的啟動：

i. 　　先進(jìn)入hadoop目錄下

ii.　　 ./sbin/start-all.sh

iii.　　 jps發(fā)現(xiàn)有ResourceManager進(jìn)程，說明yarn啟動完成

b)　　Spark的啟動：

i.　　 先進(jìn)入spark目錄下

ii. 　　./sbin/start-all.sh

iii.　　 jps主節(jié)點(diǎn)發(fā)現(xiàn)有Master進(jìn)程，jps從節(jié)點(diǎn)有Worker進(jìn)程，說明spark啟動完成

c)      Spark監(jiān)控頁面，我就不測試了，一般都是masterIP：8080，如有打不開監(jiān)控頁面的問題也是防火墻沒有被禁用的問題，請參看我的博文《Hadoop環(huán)境搭建過程中可能遇到的問題》 里面的問題2有詳細(xì)說明。

7、至此，Spark On Yarn的集群搭建完成。

當(dāng)前題目：hadoop組件之spark的安裝及配置
URL分享：http://chinadenli.net/article36/giojpg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、企業(yè)網(wǎng)站制作、電子商務(wù)、做網(wǎng)站、定制開發(fā)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)