本篇內(nèi)容介紹了“hadoop日志存放路徑是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

樺甸網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)于2013年創(chuàng)立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

環(huán)境：
[root@hadp-master hadoop-2.7.4]# hadoop version
Hadoop 2.7.4

Hadoop的日志大致可以分為兩類：
（1）、Hadoop系統(tǒng)服務(wù)輸出的日志；
（2）、Mapreduce程序輸出來(lái)的日志。這兩類的日志存放的路徑是不一樣的。本文基于Hadoop 2.x版本進(jìn)行說(shuō)明的，其中有些地方在Hadoop 1.x中是沒(méi)有的，請(qǐng)周知。

一、Hadoop系統(tǒng)服務(wù)輸出的日志

　　諸如NameNode、DataNode、ResourceManage等系統(tǒng)自帶的服務(wù)輸出來(lái)的日志默認(rèn)是存放在${HADOOP_HOME}/logs目錄下。比如resourcemanager的輸出日志為yarn-${USER}-resourcemanager-${hostname}.log，其中${USER}s是指啟動(dòng)resourcemanager進(jìn)程的用戶，${hostname}是resourcemanager進(jìn)程所在機(jī)器的hostname；當(dāng)日志到達(dá)一定的大?。梢栽?{HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置）將會(huì)被切割出一個(gè)新的文件，切割出來(lái)的日志文件名類似yarn-${USER}-resourcemanager-${hostname}.log.數(shù)字的，后面的數(shù)字越大，代表日志越舊。如下：

[root@hadp-node1 logs]# ll
total 1528
-rw-r--r--. 1 root root 771579 Oct 17 03:43 yarn-root-resourcemanager-hadp-master.log
-rw-r--r--. 1 root root 1524 Oct 17 03:33 yarn-root-resourcemanager-hadp-master.out
-rw-r--r--. 1 root root 1524 Oct 17 03:29 yarn-root-resourcemanager-hadp-master.out.1
-rw-r--r--. 1 root root 1531 Oct 13 23:23 yarn-root-resourcemanager-hadp-master.out.2
-rw-r--r--. 1 root root 1531 Sep 20 00:41 yarn-root-resourcemanager-hadp-master.out.3
-rw-r--r--. 1 root root 1531 Sep 18 22:26 yarn-root-resourcemanager-hadp-master.out.4
-rw-r--r--. 1 root root 1524 Sep 18 17:40 yarn-root-resourcemanager-hadp-master.out.5

上面這些都是可以配置的，比如resourcemanager（在${HADOOP_HOME}/etc/hadoop/log4j.properties）：

log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager$ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger}
log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager$ApplicationSummary=false
log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender
log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/${yarn.server.resourcemanager.appsummary.log.file}
log4j.appender.RMSUMMARY.MaxFileSize=256MB ##多大切割日志
log4j.appender.RMSUMMARY.MaxBackupIndex=20 
log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout
log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n

resourcemanager日志存放路徑也是可以配置的（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）：

# default log directory & file
if [ "$YARN_LOG_DIR" = "" ]; then
YARN_LOG_DIR="$HADOOP_YARN_HOME/logs"
fi
只需要修改YARN_LOG_DIR的值，這時(shí)候，yarn相關(guān)的日志記錄都將存放在你配置的目錄下。

二、Mapreduce程序相關(guān)的日志

　　Mapreduce程序的日志可以分為歷史作業(yè)日志和Container日志。

　?。?）、歷史作業(yè)的記錄里面包含了一個(gè)作業(yè)用了多少個(gè)Map、用了多少個(gè)Reduce、作業(yè)提交時(shí)間、作業(yè)啟動(dòng)時(shí)間、作業(yè)完成時(shí)間等信息；這些信息對(duì)分析作業(yè)是很有幫助的，我們可以通過(guò)這些歷史作業(yè)記錄得到每天有多少個(gè)作業(yè)運(yùn)行成功、有多少個(gè)作業(yè)運(yùn)行失敗、每個(gè)隊(duì)列作業(yè)運(yùn)行了多少個(gè)作業(yè)等很有用的信息。這些歷史作業(yè)的信息是通過(guò)下面的信息配置的： （ yarn-site.xml中配置 ）

<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
</property>

<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
</property>

“hadoop日志存放路徑是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

當(dāng)前名稱：hadoop日志存放路徑是什么-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址：http://chinadenli.net/article10/deeodo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、Google、微信公眾號(hào)、響應(yīng)式網(wǎng)站、虛擬主機(jī)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)