本篇文章給大家分享的是有關(guān)Spark性能優(yōu)化的10大問(wèn)題及其解決方案是什么，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

創(chuàng)新互聯(lián)建站作為成都網(wǎng)站建設(shè)公司，專(zhuān)注成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)，有關(guān)成都企業(yè)網(wǎng)站建設(shè)方案、改版、費(fèi)用等問(wèn)題，行業(yè)涉及成都電動(dòng)窗簾等多個(gè)領(lǐng)域，已為上千家企業(yè)服務(wù)，得到了客戶(hù)的尊重與認(rèn)可。

問(wèn)題1：reduce task數(shù)目不合適

解決方案：

需要根據(jù)實(shí)際情況調(diào)整默認(rèn)配置，調(diào)整方式是修改參數(shù)spark.default.parallelism。通常的，reduce數(shù)目設(shè)置為core數(shù)目的2-3倍。數(shù)量太大，造成很多小任務(wù)，增加啟動(dòng)任務(wù)的開(kāi)銷(xiāo)；數(shù)目太小，任務(wù)運(yùn)行緩慢。所以要合理修改reduce的task數(shù)目即spark.default.parallelism

問(wèn)題2：shuffle磁盤(pán)IO時(shí)間長(zhǎng)

解決方案：

設(shè)置spark.local.dir為多個(gè)磁盤(pán)，并設(shè)置磁盤(pán)的IO速度快的磁盤(pán)，通過(guò)增加IO來(lái)優(yōu)化shuffle性能；

問(wèn)題3：map|reduce數(shù)量大，造成shuffle小文件數(shù)目多

解決方案：

通過(guò)設(shè)置spark.shuffle.consolidateFiles為true，來(lái)合并shuffle中間文件，此時(shí)文件數(shù)為reduce tasks數(shù)目；

問(wèn)題4：序列化時(shí)間長(zhǎng)、結(jié)果大

解決方案：

spark默認(rèn)使用JDK 自帶的ObjectOutputStream，這種方式產(chǎn)生的結(jié)果大、CPU處理時(shí)間長(zhǎng)，可以通過(guò)設(shè)置spark.serializer為org.apache.spark.serializer.KeyoSerializer。

另外如果結(jié)果已經(jīng)很大，那就最好使用廣播變量方式了，結(jié)果你懂得。

問(wèn)題5：?jiǎn)螚l記錄消耗大

解決方案：

使用mapPartition替換map，mapPartition是對(duì)每個(gè)Partition進(jìn)行計(jì)算，而map是對(duì)partition中的每條記錄進(jìn)行計(jì)算；

問(wèn)題6 : collect輸出大量結(jié)果時(shí)速度慢

解決方案：

collect源碼中是把所有的結(jié)果以一個(gè)Array的方式放在內(nèi)存中，可以直接輸出到分布式的文件系統(tǒng)，然后查看文件系統(tǒng)中的內(nèi)容；

問(wèn)題7: 任務(wù)執(zhí)行速度傾斜

解決方案：

如果數(shù)據(jù)傾斜，一般是partition key取得不好，可以考慮其他的并行處理方式，并在中間加上aggregation操作；如果是Worker傾斜，例如在某些Worker上的executor執(zhí)行緩慢，可以通過(guò)設(shè)置spark.speculation=true 把那些持續(xù)慢的節(jié)點(diǎn)去掉；

問(wèn)題8: 通過(guò)多步驟的RDD操作后有很多空任務(wù)或者小任務(wù)產(chǎn)生

解決方案：

使用coalesce或者repartition去減少RDD中partition數(shù)量；

問(wèn)題9：Spark Streaming吞吐量不高

可以設(shè)置spark.streaming.concurrentJobs

問(wèn)題10：Spark Streaming 運(yùn)行速度突然下降了，經(jīng)常會(huì)有任務(wù)延遲和阻塞

解決方案：

這是因?yàn)槲覀冊(cè)O(shè)置job啟動(dòng)interval時(shí)間間隔太短了，導(dǎo)致每次job在指定時(shí)間無(wú)法正常執(zhí)行完成，換句話說(shuō)就是創(chuàng)建的windows窗口時(shí)間間隔太密集了；

以上就是Spark性能優(yōu)化的10大問(wèn)題及其解決方案是什么，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前名稱(chēng)：Spark性能優(yōu)化的10大問(wèn)題及其解決方案是什么
網(wǎng)站路徑：http://chinadenli.net/article6/ppihog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、網(wǎng)站改版、搜索引擎優(yōu)化、電子商務(wù)、關(guān)鍵詞優(yōu)化、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)