作業(yè)調(diào)度

當(dāng)對RDD執(zhí)行轉(zhuǎn)換操作時，調(diào)度器會根據(jù) RDD 的 lineage（血統(tǒng)）來構(gòu)建由若干調(diào)度階段(Stage) 組成的有向無環(huán)圖(DAG),每個調(diào)度階段包含盡可能多的連續(xù)窄依賴轉(zhuǎn)換。調(diào)度器按照有向 無環(huán)圖順序進(jìn)行計(jì)算，并最終得到目標(biāo)RDD。

調(diào)度器向各節(jié)點(diǎn)分配任務(wù)釆用延時調(diào)度機(jī)制并根據(jù)數(shù)據(jù)存儲位置(數(shù)據(jù)本地性)來確定。若一個任務(wù)需要處理的某個分區(qū)剛好存儲在某個節(jié)點(diǎn)的內(nèi)存中，則該任務(wù)會分配給該節(jié)點(diǎn)；如果在內(nèi)存中不包含該分區(qū)，調(diào)度器會找到包含該RDD的較佳位置，并把任務(wù)分配給所在節(jié)點(diǎn)。

對應(yīng)寬依賴的操作，在Spark將中間結(jié)果物化到父分區(qū)的節(jié)點(diǎn)上，這和MapReduce物化 map的輸出類似，可以簡化數(shù)據(jù)的故障恢復(fù)過程。如下圖所示，實(shí)線圓角方框標(biāo)識的是RDD。陰影背景的矩形是分區(qū)，若已存于內(nèi)存中，則用黑色背景標(biāo)識。RDD上一個行動操作的執(zhí)行將 會以寬依賴為分區(qū)來構(gòu)建各個調(diào)度階段，對各調(diào)度階段內(nèi)部的窄依賴則前后連接構(gòu)成流水線。在本例中，Stage 1的輸出已經(jīng)存在內(nèi)存中，所以直接執(zhí)行Stage 2 ,然后執(zhí)行Stage 3

Spark如何計(jì)算作業(yè)調(diào)度階段

對于執(zhí)行失敗的任務(wù)，只要它對應(yīng)調(diào)度階段父類信息仍然可用，該任務(wù)會分散到其他節(jié)點(diǎn) 重新執(zhí)行。如果某些調(diào)度階段不可用(例如，因?yàn)镾huffle在map節(jié)點(diǎn)輸出丟失了)，則重新提交相應(yīng)的任務(wù)，并以并行方式計(jì)算丟失的分區(qū)。在作業(yè)中如果某個任務(wù)執(zhí)行緩慢(即Straggler), 系統(tǒng)則會在其他節(jié)點(diǎn)上執(zhí)行該任務(wù)的副本。該方法與MapReduce推測執(zhí)行做法類似，并取最先得到的結(jié)果作為最終的結(jié)果。

調(diào)度器

RDD 模型將計(jì)算分解為多個相互獨(dú)立的細(xì)粒度任務(wù)，這使得它在多用戶集群能夠支持多種資源共享算法。特別地，每個 RDD 應(yīng)用可以在執(zhí)行過程中動態(tài)調(diào)整訪問資源。

• 在每個應(yīng)用程序中，Spark 運(yùn)行多線程同時提交作業(yè)，并通過一種等級公平調(diào)度器來實(shí)現(xiàn)多個作業(yè)對集群資源的共享，這種調(diào)度器和 Hadoop Fair Scheduler 類似。該算法主要用于創(chuàng)建基于針對相同內(nèi)存數(shù)據(jù)的多用戶應(yīng)用，例如：Spark SQL引擎有一個服務(wù)模式支持多用戶并行查詢。公平調(diào)度算法確保短的作業(yè)能夠在即使長作業(yè)占滿集群資源的情況下盡早完成。
• Spark的公平調(diào)度也使用延遲調(diào)度，通過輪詢每臺機(jī)器的數(shù)據(jù)，在保持公平的情況下給予作業(yè)高的本地性。Spark支持多級本地化訪問策略(本地化)，包括內(nèi)存、磁盤和機(jī)架。
• 由于任務(wù)相互獨(dú)立，調(diào)度器還支持取消作業(yè)來為高優(yōu)先級的作業(yè)騰出資源。
• Spark 中可以使用 yarn 來實(shí)現(xiàn)細(xì)粒度的資源共享，這使得Spark應(yīng)用能相互之間或在不同的計(jì)算框架之間實(shí)現(xiàn)資源的動態(tài)共享，這也是spark在生產(chǎn)中最常用的調(diào)度方式，基于Yarn 做調(diào)度。

RDD 持久化

Spark 提供了uoduo 種持久化 RDD 的存儲策略：

• 未序列化Java對象存在內(nèi)存中
• 序列化的數(shù)據(jù)存于內(nèi)存中
• 存儲在磁盤中

第一個選項(xiàng)的性能是最優(yōu)的，因?yàn)榭梢灾苯釉L問在Java虛擬機(jī)內(nèi)存里的RDD對象；在空間有限的情況下，第二種方式可以讓用戶釆用比Java對象更有效的內(nèi)存組織方式，但代價是降低了性能；第三種策略使用于RDD太大的場景，每次重新計(jì)算該 RDD會帶來額外的資源開銷(如I/O等)。

對于內(nèi)存使用 LRU 回收算法來進(jìn)行管理，當(dāng)計(jì)算得到一個新的 RDD 分區(qū)，但沒有足夠空間來存儲時，系統(tǒng)會從最近最少使用的 RDD 回收其一個分區(qū)的空間。除非該 RDD 是新分區(qū)對應(yīng)的 RDD,這種情況下 Spark 會將舊的分區(qū)繼續(xù)保留在內(nèi)存中，防止同一個 RDD 的分區(qū)被循環(huán)調(diào)入/調(diào)出。這點(diǎn)很關(guān)鍵，因?yàn)榇蟛糠值牟僮鲿谝粋€ RDD 的所有分區(qū)上進(jìn)行，那么很有可能已經(jīng)存在內(nèi)存中的分區(qū)將再次被使用。

CheckPoint 檢查點(diǎn)