本篇內(nèi)容介紹了“hadoop調(diào)度器及壓縮是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

我們提供的服務(wù)有：網(wǎng)站制作、做網(wǎng)站、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、陽(yáng)春ssl等。為上千多家企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的陽(yáng)春網(wǎng)站制作公司

作業(yè)的調(diào)度

     調(diào)度器:

         FIFO(first in first out)(早期版本使用)

             按照作業(yè)提交的順序,使用FIFO(先進(jìn)先出)調(diào)度算法來(lái)運(yùn)算作業(yè).

             典型情況下,每個(gè)作業(yè)都會(huì)使用整個(gè)集群,因此作業(yè)必須等待,知道輪到自己運(yùn)行.

             隨后,假如設(shè)置作業(yè)優(yōu)先級(jí)的功能,可以通過(guò)設(shè)置mapred.job.priority屬性或者

             JobClient的setJobPriority()方法來(lái)設(shè)置優(yōu)先級(jí).(very_high,high,normal,low,very_low)

             然而,在FIFO算法中,優(yōu)先級(jí)并不支持搶占,所以高優(yōu)先級(jí)的作業(yè)仍然會(huì)被那些低優(yōu)先級(jí)的作業(yè)所阻塞.

             在hadoopk中,MapReduce的調(diào)度器可以選擇,默認(rèn)的調(diào)度器是原始的基于隊(duì)列的FIFO調(diào)度器,

             還得有兩個(gè)多用戶調(diào)度器(Fair[公平] Scheduler和Capacity[能力,地位資格] Scheduler)

     Fair Scheduler

         公平調(diào)度器的目標(biāo)是讓每個(gè)用戶公平的共享集群能力.這種方式根據(jù)作業(yè)的大小,在合理的時(shí)間內(nèi)完成.

         作業(yè)都被放在作業(yè)池中,默認(rèn)情況,每個(gè)用戶都有自己的作業(yè)池.可以用map和reduce的任務(wù)槽來(lái)制定

         作業(yè)池的最小容量,也可以設(shè)置每個(gè)池的權(quán)重. fair支持搶占,所以,如果一個(gè)池在特定的一段時(shí)間內(nèi)

         未得到公平的資源共享,它會(huì)終止運(yùn)行池中得到過(guò)多資源的任務(wù),以便把任務(wù)槽讓給運(yùn)行資源不足的池.

             公平調(diào)度器:

                 公平調(diào)度是一種賦予作業(yè)(job)資源的方法,它的目的是讓所有的作業(yè)隨著時(shí)間的推移,

                 都能平均的獲取等同的共享資源.

                     1.公平調(diào)度器按資源池 （pool） 來(lái)組織作業(yè)， 并把資源公平的分到這些資源池里。

                     2.公平調(diào)度器允許賦給資源池保證 （guaranteed） 最小共享資源.

                     3.公平調(diào)度器還可以限制每用戶和每資源池的并發(fā)運(yùn)行作業(yè)數(shù)量。

             安裝:

                 fair Scheduler是一個(gè)后續(xù)模塊,要使用它,需要將其jar文件放在hadoop的類路徑.

                     方法一:把fairscheduler.jar拷貝到hadoop_home/lib中

                     方法二:修改hadoop-env.sh中的hadoop-classpath,加入公平調(diào)度器的jar包

                     最后需要在mapred-site.xml設(shè)置下列屬性,讓hadoop使用公平調(diào)度器.

                         <property> 

                             <name>mapred.jobtracker.taskScheduler</name> 

                             <value>org.apache.hadoop.mapred.FairScheduler</value> 

                         </property> 

             驗(yàn)證:重啟集群后,可以通過(guò)JobTracker的web用戶界面中的 http://<jobtrackerURL>/scheduler

                     檢查公平調(diào)度器是否正在運(yùn)行, 可以看到一個(gè)"job scheduler administration"頁(yè)面.就OK了.

     Capacity Scheduler(容量調(diào)度器)

         集群由很多隊(duì)列組成,每個(gè)隊(duì)列有一個(gè)分配的能力.在每個(gè)隊(duì)列內(nèi)部,作業(yè)根據(jù)FIFO方式(優(yōu)先級(jí))進(jìn)行調(diào)度.

         本質(zhì)上,Capacity Scheduler允許用戶或組織為每個(gè)用戶或者組織模擬一個(gè)獨(dú)立的使用FIFO的集群.

壓縮

         文件壓縮的好處:

         1.可以減少存儲(chǔ)文件所需要的磁盤空間.

         2.可以加速數(shù)據(jù)在網(wǎng)絡(luò)和磁盤上的傳輸.

壓縮格式 工具   算法      文件擴(kuò)展名  是否包含多文件  是否可切分   java實(shí)現(xiàn)   原生實(shí)現(xiàn)

DEFLATE N/A  DEFLATE   .deflate    否                   否               是            是

Gzip      gzip  DEFLATE   .gz           否                   否               是            是

bzip2    bzip2  bzip2      .bz2         否                   是               是            否

LZO      Lzop  LZO         .lzo           否                   否               否           是

“hadoop調(diào)度器及壓縮是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

本文標(biāo)題：hadoop調(diào)度器及壓縮是什么
瀏覽地址：http://chinadenli.net/article42/giijec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站收錄、全網(wǎng)營(yíng)銷推廣、關(guān)鍵詞優(yōu)化、ChatGPT、網(wǎng)站營(yíng)銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)