這篇文章主要介紹了Flume有什么用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元永年做網(wǎng)站,已為上家服務(wù),為永年各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792

flume是做收集的，可以把它理解為一個數(shù)據(jù)的轉(zhuǎn)換者，從本地把數(shù)據(jù)讀取，然后轉(zhuǎn)化到hdfs分布式文件系統(tǒng)上，目的是把兩個系統(tǒng)的文件做一個對接；類似于sqoop做數(shù)據(jù)庫的對接，它把MySQL的數(shù)據(jù)庫轉(zhuǎn)到hdfs上或Hbase上。

Flume相當(dāng)于一根管子，里面流的是數(shù)據(jù) ，進(jìn)去的目錄-source(本地目錄)，F(xiàn)lume進(jìn)來監(jiān)控的是本地目錄；出去的目錄-sink(HDFS目錄，分布式文件系統(tǒng)上);

Spooling Directory Source注意事項：

Flume進(jìn)來監(jiān)控的是本地目錄，本地里有一個監(jiān)控的目錄，本地目錄中的文件要是變化才可以。不能直接監(jiān)控到nginx服務(wù)器，它上面會產(chǎn)生日志，它一直在讀寫，nginx產(chǎn)生日志，進(jìn)行真正滾動后，比如10分鐘生成一個文件，這時，你把它mv 或 copy到 本地要監(jiān)控的目錄，flume不能監(jiān)控目錄中文件內(nèi)容是一直變化的，只能監(jiān)控文件的個數(shù)的變化，flume一看個數(shù)變化，它才把日志抓過來。

最近兩天，仔細(xì)的看了一下Flume中央日志系統(tǒng)（版本號：1.3.X），F(xiàn)lume在本人看來，還是一個非常不錯的日志收集系統(tǒng)的，其設(shè)計理念非常易用，簡潔。并且是一個開源項目，基于Java語言開發(fā)，可以進(jìn)行一些自定義的功能開發(fā)。運行Flume時，機(jī)器必須安裝裝JDK6.0以上的版本，并且，F(xiàn)lume目前只有Linux系統(tǒng)的啟動腳本，沒有Windows環(huán)境的啟動腳本。  
          

Flume主要由3個重要的組件購成：  
       Source:完成對日志數(shù)據(jù)的收集，分成transtion 和 event 打入到channel之中。  
      Channel:主要提供一個隊列的功能，對source提供中的數(shù)據(jù)進(jìn)行簡單的緩存。  
      Sink:取出Channel中的數(shù)據(jù)，進(jìn)行相應(yīng)的存儲文件系統(tǒng)，數(shù)據(jù)庫，或者提交到遠(yuǎn)程服務(wù)器。  
對現(xiàn)有程序改動最小的使用方式是使用是直接讀取程序原來記錄的日志文件，基本可以實現(xiàn)無縫接入，不需要對現(xiàn)有程序進(jìn)行任何改動。 
對于直接讀取文件Source,有兩種方式：  
      ExecSource:以運行Linux命令的方式，持續(xù)的輸出最新的數(shù)據(jù)，如tail -F 文件名指令，在這種方式下，取的文件名必須是指定的。  
      SpoolSource:是監(jiān)測配置的目錄下新增的文件，并將文件中的數(shù)據(jù)讀取出來。

需要注意兩點： 

1、拷貝到spool目錄下的文件不可以再打開編輯。

２、spool目錄下不可包含相應(yīng)的子目錄。 在實際使用的過程中，可以結(jié)合log4j使用，使用log4j的時候，將log4j的文件分割機(jī)制設(shè)為1分鐘一次，將文件拷貝到spool的監(jiān)控目錄。log4j有一個TimeRolling的插件，可以把log4j分割的文件到spool目錄?；緦崿F(xiàn)了實時的監(jiān)控。Flume在傳完文件之后，將會修改文件的后綴，變?yōu)?COMPLETED（后綴也可以在配置文件中靈活指定）  
ExecSource，SpoolSource對比：

ExecSource可以實現(xiàn)對日志的實時收集，但是存在Flume不運行或者指令執(zhí)行出錯時，將無法收集到日志數(shù)據(jù)，無法何證日志數(shù)據(jù)的完整性。

SpoolSource雖然無法實現(xiàn)實時的收集數(shù)據(jù)，但是可以使用以分鐘的方式分割文件，趨近于實時。如果應(yīng)用無法實現(xiàn)以分鐘切割日志文件的話，可以兩種收集方式結(jié)合使用。  

Channel有多種方式：有MemoryChannel,JDBC Channel,MemoryRecoverChannel,FileChannel。

MemoryChannel可以實現(xiàn)高速的吞吐，但是無法保證數(shù)據(jù)的完整性。

MemoryRecoverChannel在官方文檔的建議上已經(jīng)建義使用FileChannel來替換。

FileChannel保證數(shù)據(jù)的完整性與一致性。

在具體配置實現(xiàn)的FileChannel時，建議FileChannel設(shè)置的目錄和程序日志文件保存的目錄設(shè)成不同的磁盤，以便提高效率。  

Sink在設(shè)置存儲數(shù)據(jù)時，可以向文件系統(tǒng)中，數(shù)據(jù)庫中，hadoop中儲數(shù)據(jù)(HDFS、HBase)，在日志數(shù)據(jù)較少時，可以將數(shù)據(jù)存儲在文件系中，并且設(shè)定一定的時間間隔保存數(shù)據(jù)。在日志數(shù)據(jù)較多時，可以將相應(yīng)的日志數(shù)據(jù)存儲到Hadoop中，便于日后進(jìn)行相應(yīng)的數(shù)據(jù)分析。 

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Flume有什么用”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享標(biāo)題：Flume有什么用
鏈接URL：http://chinadenli.net/article30/joeppo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站導(dǎo)航、移動網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)