本篇內(nèi)容介紹了“ort shuffle有什么用”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)是專(zhuān)業(yè)的青州網(wǎng)站建設(shè)公司，青州接單;提供成都網(wǎng)站制作、成都網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專(zhuān)業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行青州網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專(zhuān)業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專(zhuān)業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

spark實(shí)現(xiàn)了多種shuffle方法，通過(guò) spark.shuffle.manager來(lái)確定。暫時(shí)總共有三種：hash shuffle、sort shuffle和tungsten-sort shuffle，從1.2.0開(kāi)始默認(rèn)為sort shuffle。

從1.2.0開(kāi)始默認(rèn)為sort shuffle(spark.shuffle.manager= sort)，實(shí)現(xiàn)邏輯類(lèi)似于Hadoop MapReduce，Hash Shuffle每一個(gè)reducers產(chǎn)生一個(gè)文件，但是Sort Shuffle只是產(chǎn)生一個(gè)按照reducer id排序可索引的文件，這樣，只需獲取有關(guān)文件中的相關(guān)數(shù)據(jù)塊的位置信息，并fseek就可以讀取指定reducer的數(shù)據(jù)。但對(duì)于rueducer數(shù)比較少的情況，Hash Shuffle明顯要比Sort Shuffle快，因此Sort Shuffle有個(gè)“fallback”計(jì)劃，對(duì)于reducers數(shù)少于 “spark.shuffle.sort.bypassMergeThreshold” (200 by default)，我們使用fallback計(jì)劃，hashing相關(guān)數(shù)據(jù)到分開(kāi)的文件，然后合并這些文件為一個(gè)，具體實(shí)現(xiàn)為BypassMergeSortShuffleWriter。

在map進(jìn)行排序，在reduce端應(yīng)用Timsort[1]進(jìn)行合并。map端是否容許spill，通過(guò)spark.shuffle.spill來(lái)設(shè)置，默認(rèn)是true。設(shè)置為false，如果沒(méi)有足夠的內(nèi)存來(lái)存儲(chǔ)map的輸出，那么就會(huì)導(dǎo)致OOM錯(cuò)誤，因此要慎用。

用于存儲(chǔ)map輸出的內(nèi)存為：“JVM Heap Size” \* spark.shuffle.memoryFraction \* spark.shuffle.safetyFraction，默認(rèn)為“JVM Heap Size” \* 0.2 \* 0.8 = “JVM Heap Size” \* 0.16。如果你在同一個(gè)執(zhí)行程序中運(yùn)行多個(gè)線程（設(shè)定spark.executor.cores/ spark.task.cpus超過(guò)1）,每個(gè)map任務(wù)存儲(chǔ)的空間為“JVM Heap Size” * spark.shuffle.memoryFraction * spark.shuffle.safetyFraction / spark.executor.cores * spark.task.cpus, 默認(rèn)2個(gè)cores，那么為0.08 * “JVM Heap Size”。 spark使用AppendOnlyMap存儲(chǔ)map輸出的數(shù)據(jù)，利用開(kāi)源hash函數(shù)MurmurHash4和平方探測(cè)法把key和value保存在相同的array中。這種保存方法可以是spark進(jìn)行combine。如果spill為true，會(huì)在spill前sort。

Sort Shuffle內(nèi)存的源碼級(jí)別更詳細(xì)說(shuō)明可以參考[4],讀寫(xiě)過(guò)程可以參考[5]

##優(yōu)點(diǎn)

1. map創(chuàng)建文件量較少

2. 少量的IO隨機(jī)操作，大部分是順序讀寫(xiě)

##缺點(diǎn)

1. 要比Hash Shuffle要慢，需要自己通過(guò)spark.shuffle.sort.bypassMergeThreshold來(lái)設(shè)置合適的值。

2. 如果使用SSD盤(pán)存儲(chǔ)shuffle數(shù)據(jù)，那么Hash Shuffle可能更合適。

“ort shuffle有什么用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

文章題目：ortshuffle有什么用
網(wǎng)址分享：http://chinadenli.net/article36/gjecpg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)、品牌網(wǎng)站設(shè)計(jì)、企業(yè)建站、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)