Yarn的簡單介紹

         我們知道在離線大數(shù)據(jù)處理領域中，hadoop是目前無可厚非的處理架構，到目前為止hadoop已經(jīng)有三個大版本，每個版本下都有架構方面的調整。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務，包含不限于成都網(wǎng)站制作、網(wǎng)站建設、朝陽網(wǎng)絡推廣、小程序制作、朝陽網(wǎng)絡營銷、朝陽企業(yè)策劃、朝陽品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學生創(chuàng)業(yè)者提供朝陽建站搭建服務，24小時服務熱線：18980820575，官方網(wǎng)址：chinadenli.net

         在hadoop1.0中有一些弊端，比如hdfs元數(shù)據(jù)信息保存的單節(jié)點故障，并且任務計算框架只能使用mapreduce，而且造成了任務管理器的壓力過大，因此在hadoop2.0中加入了yarn資源統(tǒng)一管理的機制，不僅解決了元數(shù)據(jù)單節(jié)點故障問題（雙namenode）而且實現(xiàn)了元數(shù)據(jù)的實時熱備（共享機制JournalNode），在hdfs和mr之間加入了yarn，統(tǒng)一協(xié)調資源。

         在本文中只介紹yarn的運行原理，其他有關知識可以查詢相關文檔，這里就不多做介紹。

Yarn的運行原理圖（此處為截圖）

原理介紹

1.        客戶端執(zhí)行run方法，啟動任務，啟動過程中會檢測相應執(zhí)行權限請求路徑等，若檢測失敗，則終止后續(xù)的執(zhí)行

2.        第一步檢測通過后，向resourcemanager發(fā)送請求，并返回任務id，以及任務在hdfs的存放路勁

3.        客戶端接收到響應信息后，根據(jù)提交路徑，將job任務打包上傳到hdfs（共享文件系統(tǒng)）

4.        客戶端再次向resourcemanager提交job任務（application）

5.        Resourcemanager根據(jù)任務提交由資源調度器申請一個資源容器container，并由applicationmanager選擇一臺nodemanager（節(jié)點的資源管理器），啟動一個與申請大小相同的container，并開啟一個applicationmaster（任務的子實例協(xié)調管理者）

6.        Appalicationmaster進行任務的初始化

7.        從resourcemanager獲取執(zhí)行任務在hdfs的位置，并根據(jù)任務信息計算mapreduce的數(shù)量

8.        根據(jù)初始化和運算結果，Appalicationmaster再根據(jù)mapreduce的任務大小依次到resourcemanager申請task（mapreduce）任務需要的container

9.        Applicationmaster申請到container后再次選擇一個nodemanager，并發(fā)送啟動container的指令

10.    Nodemanager收到指令后，啟動container并從任務所在的hdfs路勁中獲取執(zhí)行的mapreduce任務

11.    啟動jvm虛擬機來執(zhí)行獲取的mapreduce任務

注意：applicationmaster將監(jiān)聽每一個nodemanager執(zhí)行的情況并隨時匯報給resourcemanager，知道最后任務執(zhí)行完成，將回收所有的資源，如果發(fā)現(xiàn)有任務執(zhí)行失敗，則由applicationmaster來協(xié)調，減輕了resourcemanager的負擔，如果applicationmaster在運行過程中出問題，resourcemanager沒有接收心跳后，會再在所有nodemanager節(jié)點中選擇一個節(jié)點來啟動applicationmaster來繼續(xù)工作。

 

以上就是hadoop2.0中yarn的運行原理，大家相互學習-------成長從博客開始

網(wǎng)頁題目：hadoop2.0中yarn的運行原理
路徑分享：http://chinadenli.net/article0/gepioo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供建站公司、服務器托管、面包屑導航、App開發(fā)、微信公眾號、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)