本篇內(nèi)容主要講解“hadoop YARN配置參數(shù)有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“hadoop YARN配置參數(shù)有哪些”吧!

創(chuàng)新互聯(lián)公司主營龍巖網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā),龍巖h5成都微信小程序搭建,龍巖網(wǎng)站營銷推廣歡迎龍巖等地區(qū)企業(yè)咨詢

MapReduce相關(guān)配置參數(shù)分為兩部分，分別是JobHistory Server和應(yīng)用程序參數(shù)，Job History可運行在一個獨立節(jié)點上，而應(yīng)用程序參數(shù)則可存放在mapred-site.xml中作為默認(rèn)參數(shù)，也可以在提交應(yīng)用程序時單獨指定，注意，如果用戶指定了參數(shù)，將覆蓋掉默認(rèn)參數(shù)。

以下這些參數(shù)全部在mapred-site.xml中設(shè)置。

1.    MapReduce JobHistory相關(guān)配置參數(shù)

在JobHistory所在節(jié)點的mapred-site.xml中配置。

（1） mapreduce.jobhistory.address

參數(shù)解釋：MapReduce JobHistory Serve IPC host:port 地址。

默認(rèn)值： 0.0.0.0:10020

（2） mapreduce.jobhistory.webapp.address

參數(shù)解釋：MapReduce JobHistory Server Web UI 地址。

默認(rèn)值： 0.0.0.0:19888

（3） mapreduce.jobhistory.intermediate-done-dir

參數(shù)解釋：MapReduce作業(yè)產(chǎn)生的日志存放位置。

默認(rèn)值：${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

（4） mapreduce.jobhistory.done-dir

參數(shù)解釋：MR JobHistory Server管理的日志的存放位置。

默認(rèn)值： ${yarn.app.mapreduce.am.staging-dir}/history/done

2.    MapReduce作業(yè)配置參數(shù)

可在客戶端的mapred-site.xml中配置，作為MapReduce作業(yè)的缺省配置參數(shù)。也可以在作業(yè)提交時，個性化指定這些參數(shù)。

參數(shù)名稱	缺省值	說明
mapreduce.job.name		作業(yè)名稱
mapreduce.job.priority	NORMAL	作業(yè)優(yōu)先級
yarn.app.mapreduce.am.resource.mb	1536	MR ApplicationMaster占用的內(nèi)存量
yarn.app.mapreduce.am.resource.cpu-vcores	1	MR ApplicationMaster占用的虛擬CPU個數(shù)
mapreduce.am.max-attempts	2	MR ApplicationMaster最大失敗嘗試次數(shù)
mapreduce.map.memory.mb	1024	每個Map Task需要的內(nèi)存量
mapreduce.map.cpu.vcores	1	每個Map Task需要的虛擬CPU個數(shù)
mapreduce.map.maxattempts	4	Map Task最大失敗嘗試次數(shù)
mapreduce.reduce.memory.mb	1024	每個Reduce Task需要的內(nèi)存量
mapreduce.reduce.cpu.vcores	1	每個Reduce Task需要的虛擬CPU個數(shù)
mapreduce.reduce.maxattempts	4	Reduce Task最大失敗嘗試次數(shù)
mapreduce.map.speculative	false	是否對Map Task啟用推測執(zhí)行機(jī)制
mapreduce.reduce.speculative	false	是否對Reduce Task啟用推測執(zhí)行機(jī)制
mapreduce.job.queuename	default	作業(yè)提交到的隊列
mapreduce.task.io.sort.mb	100	任務(wù)內(nèi)部排序緩沖區(qū)大小
mapreduce.map.sort.spill.percent	0.8	Map階段溢寫文件的閾值（排序緩沖區(qū)大小的百分比）
mapreduce.reduce.shuffle.parallelcopies	5	Reduce Task啟動的并發(fā)拷貝數(shù)據(jù)的線程數(shù)目

注意，MRv2重新命名了MRv1中的所有配置參數(shù)，但兼容MRv1中的舊參數(shù)，只不過會打印一條警告日志提示用戶參數(shù)過期。MapReduce新舊參數(shù)對照表可參考Java類org.apache.hadoop.mapreduce.util.ConfigUtil  。

到此，相信大家對“hadoop YARN配置參數(shù)有哪些”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前名稱：hadoopYARN配置參數(shù)有哪些
地址分享：http://chinadenli.net/article10/gidpdo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、企業(yè)網(wǎng)站制作、建站公司、虛擬主機(jī)、微信公眾號、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)