前言：通常情況下，我們將Kafka的日志數(shù)據(jù)通過logstash訂閱輸出到ES，然后用Kibana來做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實時分析，日志存?zhèn)€十天半個月都會刪掉。那么在一些情況下，我需要將日志數(shù)據(jù)也存一份到我HDFS，積累到比較久的時間做半年、一年甚至更長時間的大數(shù)據(jù)分析。下面就來說如何最簡單的通過logstash將kafka中的數(shù)據(jù)訂閱一份到hdfs。

創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)與策劃設(shè)計,井岡山網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:井岡山等地區(qū)。井岡山做網(wǎng)站價格咨詢:028-86922220

一：安裝logstash（下載tar包安裝也行，我直接yum裝了）

#yum install logstash-2.1.1

二：從github上克隆代碼

#git clone  https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git
#ls
logstash-output-webhdfs-discontinued

三：安裝logstash-output-webhdfs插件

#cd logstash-output-webhdfs-discontinued
logstash的bin目錄下有個plugin，使用plugin來安裝插件
#/opt/logstash/bin/plugin install logstash-output-webhdfs

四：配置logstash

#vim /etc/logstash/conf.d/logstash.conf
input {
  kafka {
    zk_connect => '10.10.10.1:2181,10.10.10.2:2181,10.10.10.3:2181'   #kafka的zk集群地址
    group_id => 'hdfs'                     #消費者組，不要和ELK上的消費者一樣
    topic_id => 'apiAppWebCms-topic'       #topic 
    consumer_id => 'logstash-consumer-10.10.8.8'   #消費者id，自定義，我寫本機ip。
    consumer_threads => 1
    queue_size => 200
    codec => 'json'
  }
}

output {            
#如果你一個topic中會有好幾種日志，可以提取出來分開存儲在hdfs上。
if [type] == "apiNginxLog" {
    webhdfs {
           workers => 2
           host => "10.10.8.1"        #hdfs的namenode地址    
           port => 50070              #webhdfs端口
           user => "hdfs"             #hdfs運行的用戶啊，以這個用戶的權(quán)限去寫hdfs。
           path => "/data/logstash/apiNginxLog-%{+YYYY}-%{+MM}-%{+dd}/logstash-%{+HH}.log 
             #按天建目錄，按小時建log文件。
           flush_size => 500
#       compression => "snappy"             #壓縮格式，可以不壓縮
        idle_flush_time => 10
        retry_interval => 0.5
       }
   }
if [type] == "apiAppLog" {
    webhdfs {
        workers => 2
        host => "10.64.8.1"
        port => 50070
        user => "hdfs"
        path => "/data/logstash/api/apiAppLog-%{+YYYY}-%{+MM}-%{+dd}.log"
        flush_size => 500
#        compression => "snappy"
        idle_flush_time => 10
        retry_interval => 0.5
       }
   }
  stdout { codec => rubydebug }
}

五：啟動logstash

#/etc/init.d/logstash start

已經(jīng)可以成功寫入了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站名稱：logstash將Kafka中的日志數(shù)據(jù)訂閱到HDFS-創(chuàng)新互聯(lián)
URL標(biāo)題：http://chinadenli.net/article18/dhjidp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、靜態(tài)網(wǎng)站、虛擬主機、網(wǎng)站改版、品牌網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)