spark02--Standalone模式兩種提交任務方式是什么，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)建站是專業(yè)的啟東網(wǎng)站建設公司，啟東接單;提供成都網(wǎng)站建設、做網(wǎng)站,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行啟東網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

一、Standalone-client提交任務方式

提交命令

./spark-submit --master spark://xxx:7077 --class xxx.jar 或者
./spark-submit --master spark://xxx:7077 --deploy-mode client --class xxx.jar

執(zhí)行流程

1、client模式提交任務后，會在客戶端啟動Driver進程。

2、Driver會向Master申請啟動Application啟動的資源。

3、資源申請成功，Driver端將task發(fā)送到worker端執(zhí)行。

4、worker將task執(zhí)行結果返回到Driver端。

總結

client模式適用于測試調(diào)試程序。Driver進程是在客戶端啟動的，這里的客戶端就是指提交應用程序的當前節(jié)點。在Driver端可以看到task執(zhí)行的情況。生產(chǎn)環(huán)境下不能使用client模式，是因為：假設要提交100個application到集群運行，Driver每次都會在client端啟動，那么就會導致客戶端100次網(wǎng)卡流量暴增的問題。

 cluster

提交命令

./spark-submit --master spark://xxx:7077 --deploy-mode cluster --class xxx.jar

執(zhí)行流程

1、cluster模式提交應用程序后，會向Master請求啟動Driver.

2、Master接受請求，隨機在集群一臺節(jié)點啟動Driver進程。

3、Driver啟動后為當前的應用程序申請資源。

4、Driver端發(fā)送task到worker節(jié)點上執(zhí)行。

5、worker將執(zhí)行情況和執(zhí)行結果返回給Driver端。

總結

Driver進程是在集群某一臺Worker上啟動的，在客戶端是無法查看task的執(zhí)行情況的。假設要提交100個application到集群運行,每次Driver會隨機在集群中某一臺Worker上啟動，那么這100次網(wǎng)卡流量暴增的問題就散布在集群上

總結Standalone兩種方式提交任務，Driver與集群的通信包括：

1、Driver負責應用程序資源的申請

2、 任務的分發(fā)

3、結果的回收

4、監(jiān)控task執(zhí)行情況

二、Yarn模式兩種提交任務方式

client

提交命令

./spark-submit --master yarn --class xxx.jar 或者
./spark-submit --master yarn–client --class xxx.jar 或者
./spark-submit --master yarn --deploy-mode client --class xxx.jar

執(zhí)行流程

1. 客戶端提交一個Application，在客戶端啟動一個Driver進程。

2. 應用程序啟動后會向RM(ResourceManager)發(fā)送請求，啟動AM(ApplicationMaster)的資源。

3. RM收到請求，隨機選擇一臺NM(NodeManager)啟動AM。這里的NM相當于Standalone中的Worker節(jié)點。

4. AM啟動后，會向RM請求一批container資源，用于啟動Executor.

5. RM會找到一批NM返回給AM,用于啟動Executor。

6. AM會向NM發(fā)送命令啟動Executor。

7. Executor啟動后，會反向注冊給Driver，Driver發(fā)送task到Executor,執(zhí)行情況和結果返回給Driver端。

• 總結

Yarn-client模式同樣是適用于測試，因為Driver運行在本地，Driver會與yarn集群中的Executor進行大量的通信，會造成客戶機網(wǎng)卡流量的大量增加.

• ApplicationMaster的作用：

1. 為當前的Application申請資源

2. 給NameNode發(fā)送消息啟動Executor。

注意：ApplicationMaster有l(wèi)aunchExecutor和申請資源的功能，并沒有作業(yè)調(diào)度的功能。

cluster

提交命令

./spark-submit --master yarn-cluster --class xxx.jar 或者
./spark-submit --master yarn --deploy-mode cluster --class xxx.jar

執(zhí)行流程

1. 客戶機提交Application應用程序，發(fā)送請求到RS(ResourceManager),請求啟動AM(ApplicationMaster)。

2. RM收到請求后隨機在一臺NM(NodeManager)上啟動AM（相當于Driver端）。

3. AM啟動，AM發(fā)送請求到RM，請求一批container用于啟動Executor。

4. RM返回一批NM節(jié)點給AM。

5. AM連接到NM,發(fā)送請求到NM啟動Executor。

6. Executor反向注冊到AM所在的節(jié)點的Driver。Driver發(fā)送task到Executor。

• 總結

Yarn-Cluster主要用于生產(chǎn)環(huán)境中，因為Driver運行在Yarn集群中某一臺nodeManager中，每次提交任務的Driver所在的機器都是隨機的，不會產(chǎn)生某一臺機器網(wǎng)卡流量激增的現(xiàn)象，缺點是任務提交后不能看到日志。只能通過yarn查看日志。

ApplicationMaster的作用：

1. 為當前的Application申請資源

2. 給NameNode發(fā)送消息啟動Excutor。

3. 任務調(diào)度。

看完上述內(nèi)容，你們掌握spark02--Standalone模式兩種提交任務方式是什么的方法了嗎？如果還想學到更多技能或想了解更多相關內(nèi)容，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

當前標題：spark02--Standalone模式兩種提交任務方式是什么
標題URL：http://chinadenli.net/article44/gehdhe.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設、搜索引擎優(yōu)化、定制網(wǎng)站、網(wǎng)站排名、全網(wǎng)營銷推廣、營銷型網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)