運(yùn)行Spark例子程序是怎樣實(shí)現(xiàn)的，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

專注于為中小企業(yè)提供成都網(wǎng)站制作、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)月湖免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了近1000家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

一、安裝和配置

下載并解壓Spark到指定目錄，如果沒(méi)有安裝JDK、Scala，需要先下載JDK、Scala到指定目錄，并設(shè)置SPKARK_HOME(JAVA_HOME、SCALA_HOME).

二、啟動(dòng)Spark或Spark集群

如果只是在單節(jié)點(diǎn)上運(yùn)行Spark，無(wú)需啟動(dòng)Spark，直接按『三、運(yùn)行例子程序』運(yùn)行即可。 如若需要在集群上運(yùn)行Spark例子程序，需要先啟動(dòng)Spark集群。將已經(jīng)可以互相無(wú)密碼登陸的從節(jié)點(diǎn)名(或IP地址)加入到主節(jié)點(diǎn)的conf/slaves文件中，再將配置好的主節(jié)點(diǎn)的Spark的整個(gè)目錄拷貝到其他所有從節(jié)點(diǎn)。在直接運(yùn)行啟動(dòng)集群腳本:

./start-all.sh
# 關(guān)閉集群    
./stop-all.sh

二、運(yùn)行例子程序

1. 在單節(jié)點(diǎn)上運(yùn)行

在單個(gè)節(jié)點(diǎn)上運(yùn)行例子無(wú)需啟動(dòng)集群：

./bin/run-example SparkPi 10
./bin/run-example graphx.LiveJournalPageRank follower.txt --numEPart=2
# 運(yùn)行Python的例子程序
./bin/spark-submit examples/src/main/python/pi.py 10
./bin/spark-submit examples/src/main/python/PageRank.py follower.txt 10

2. 提交到集群上運(yùn)行

./bin/spark-submit --master spark://A281:7077 --class org.apache.spark.examples.graphx.LiveJournalPageRank lib/spark-examples-1.6.0-hadoop2.6.0.jar followers.txt --numEPart=2

關(guān)于運(yùn)行Spark例子程序是怎樣實(shí)現(xiàn)的問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

網(wǎng)站標(biāo)題：運(yùn)行Spark例子程序是怎樣實(shí)現(xiàn)的
本文路徑：http://chinadenli.net/article14/gigide.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、網(wǎng)站內(nèi)鏈、域名注冊(cè)、定制網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)