本篇文章給大家分享的是有關(guān)如何理解Yarn的日志聚合，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

在息烽等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專(zhuān)注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需求定制開(kāi)發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都全網(wǎng)營(yíng)銷(xiāo)推廣,外貿(mào)網(wǎng)站建設(shè),息烽網(wǎng)站建設(shè)費(fèi)用合理。

1、Yarn日志聚合

Yarn中的任務(wù)執(zhí)行完成后，再想查看歷史日志一般都查不到了，因?yàn)檫@時(shí)候運(yùn)行任務(wù)的Container已經(jīng)釋放了，這種情況我們可以開(kāi)啟Yarn的日志聚合功能。

首先配置yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 配置YARN日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<!-- 配置YARN日志聚集目錄，默認(rèn)/tmp/logs -->
<property>
    <name>yarn.nodemanager.remote-app-log-dirs</name>
    <value>/tmp/logs</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://localhost:19888/jobhistory/job/</value>
 </property>

然后啟動(dòng)history-server，RM，NM

start-yarn.cmd，sbin\mr-jobhistory-daemon.sh start historyserver

提交mapreduce作業(yè)到Y(jié)arn等執(zhí)行完成后看看歷史日志服務(wù)器能否看到。

提示：最好在linux上安裝，我在windows下啟動(dòng)historyServer失敗了。

【yarn日志參數(shù)】

yarn.log-aggregation-enable      true        執(zhí)行結(jié)束后收集各個(gè)container本地的日志

yarn.log-aggregation.retain-seconds  2592000    收集的日志的保留時(shí)間，以秒為單位，到時(shí)后被刪除，保留30天后刪除

yarn.log.server.url   http://hostname:19888/jobhistory/logs   log server的地址yarn.nodemanager.local-dirs   /hadoop/yarn/local  存放application執(zhí)行本地文件的根目錄，執(zhí)行完畢后刪除，按用戶名存儲(chǔ)

yarn.nodemanager.log-dirs  /hadoop/yarn/log 存放application本地執(zhí)行日志的根目錄，執(zhí)行完畢后刪除，按用戶名存儲(chǔ)

yarn.nodemanager.log.retain-second 604800  日志的保留時(shí)間,log aggregation沒(méi)有enable時(shí)，有效

yarn.nodemanager.remote-app-log-dir  /app-logs  聚合日志后在hdfs的存放地址

yarn.nodemanager.remote-app-log-dir-suffix  logs   集合日志后的存放地址由 ${remote-app-log-dir}/${user}/{thisParam}構(gòu)成

yarn.nodemanager.delete.debug-delay-sec 600  application執(zhí)行結(jié)束后延遲10min刪除本地文件及日志

2、Spark On Yarn日志

Spark本身也有日志聚合功能（日志聚合是為了程序運(yùn)行完成之后還能看到日志，否則只有在運(yùn)行過(guò)程中才能看日志，因?yàn)檫\(yùn)行完之后executor就釋放了）

配置Spark日志聚合，在spark-defaults.conf中設(shè)置：

spark.eventLog.enable=true

spark.eventLog.dir = hdfs:///spark-history/logs

然后啟動(dòng)spark historyServer就可以在默認(rèn)端口18080上看到spark的歷史聚合日志了。

當(dāng)在Yarn上提交spark的時(shí)候，Yarn的8088端口上進(jìn)入任務(wù)的History鏈接，默認(rèn)是到Y(jié)arn的historyServer的端口19888的，不會(huì)自動(dòng)跳轉(zhuǎn)到Spark的18080端口。

如果要自動(dòng)跳轉(zhuǎn)到Spark的historyServer 18080端口，需要在spark-defaults.conf中添加配置：

spark.yarn.historyServer.address=http://spark-history:18080

添加SPARK_HISTORY_OPTS參數(shù)
# vi spark-env.sh
#!/usr/bin/env bash

export SCALA_HOME=/root/learnproject/app/scala
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_CONF_DIR=/root/learnproject/app/hadoop/etc/hadoop

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
-Dspark.history.ui.port=18080 \
-Dspark.history.retainedApplications=20"

然后就可以了。

以上就是如何理解Yarn的日志聚合，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前名稱(chēng)：如何理解Yarn的日志聚合
網(wǎng)頁(yè)URL：http://chinadenli.net/article48/ppgihp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、靜態(tài)網(wǎng)站、網(wǎng)站維護(hù)、網(wǎng)站策劃、品牌網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)