filebeat采集日志到kafka配置及使用

1、由于我的預(yù)期目標(biāo)是將filebeat收集的日志發(fā)送到kafka，所以配置output就選擇了kafka。讀者可根據(jù)自己的使用場(chǎng)景，配置output。例子中的配置將對(duì)/var/log目錄下所有以.log結(jié)尾的文件進(jìn)行采集。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了新華免費(fèi)建站歡迎大家使用！

2、filebeat監(jiān)聽兩個(gè)不同文件，配置了不同的topic。其中topic：%{[type]} ，topic值為input中配置的document_type。kafka中收集到日志如下格式：只有message中才為寫入到，其余字段為filebeat攜帶的元數(shù)據(jù)。

3、使用filebeat收集日志，先轉(zhuǎn)發(fā)到beat端的logstash1，然后logstash1轉(zhuǎn)發(fā)到kafka，然后再由logstash2從kafka讀取寫到elasticsearch。

4、為了手動(dòng)配置Filebeat(代替用模塊)，你可以在filebeat.yml中的filebeat.inputs區(qū)域下指定一個(gè)inputs列表。 列表時(shí)一個(gè)YMAL數(shù)組，并且你可以指定多個(gè)inputs，相同input類型也可以指定多個(gè)。

5、2) 配置kibana yml配置文件嚴(yán)格控制縮進(jìn)，如果配置頂格，那么應(yīng)用到全局，如果存在縮進(jìn)，則只應(yīng)用到此縮進(jìn)層級(jí)。

6、Filebeat是本地文件的日志數(shù)據(jù)采集器，可監(jiān)控日志目錄或特定日志文件(tail file)，并將它們轉(zhuǎn)發(fā)給Elasticsearch或Logstatsh進(jìn)行索引、kafka等。

ELK應(yīng)用之Filebeat

1、force_close_files： Filebeat會(huì)在沒有到達(dá)close_older之前一直保持文件的handle，如果在這個(gè)時(shí)間窗內(nèi)刪除文件會(huì)有問題，所以可以把force_close_files設(shè)置為true，只要filebeat檢測(cè)到文件名字發(fā)生變化，就會(huì)關(guān)掉這個(gè)handle。

2、Filebeat 會(huì)持續(xù)保持著句柄，以便以便它可以近乎實(shí)時(shí)地讀取新的日志行。如果 Filebeat 正在收集大量文件，則打開的文件數(shù)可能會(huì)成為問題。在大多數(shù)環(huán)境中，活動(dòng)更新的文件數(shù)較少。

3、Filebeat 配置，輸出到 console：Filebeat 配置，輸出到 Kafka：我們開啟 Filebeat 的 6060 端口，并使用 python 腳本進(jìn)行指標(biāo)采集。

4、Beats 和 fluentd 有一個(gè)共同的特點(diǎn)，就是輕量級(jí)，沒有 Logstash 功能全面。但如果比較注重日志收集性能，Beats 里面的 Filebeat 和 fluentd 這兩個(gè)工具會(huì)更有優(yōu)勢(shì)。

5、filebeat是一個(gè)輕量級(jí)的日志采集器，部署簡(jiǎn)單占用內(nèi)存小。

6、elk 簡(jiǎn)介 elk的安裝 我們采用的 docker 鏡像安裝。由于sebp/elk中l(wèi)ogstash的input的方式默認(rèn)是filebeat，首先們需要進(jìn)入elk容器中修改input方式。logstash默認(rèn)會(huì)將etc/logstash/conf.d/中的配置文件進(jìn)行整合然后啟動(dòng)。

網(wǎng)站欄目：go語(yǔ)言logstash Go語(yǔ)言面試題
鏈接分享：http://chinadenli.net/article13/dspsogs.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、電子商務(wù)、軟件開發(fā)、網(wǎng)站營(yíng)銷、標(biāo)簽優(yōu)化、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)