Kafka 都有哪些特點?
高吞吐量、低延遲:kafka每秒可以處理幾十萬條消息,它的延遲最低只有幾毫秒,每個topic可以分多個partition, consumer group 對partition進行consume操作。
可擴展性:kafka集群支持熱擴展
持久性、可靠性:消息被持久化到本地磁盤,并且支持數(shù)據(jù)備份防止數(shù)據(jù)丟失
容錯性:允許集群中節(jié)點失?。ㄈ舾北緮?shù)量為n,則允許n-1個節(jié)點失?。?/p>
高并發(fā):支持數(shù)千個客戶端同時讀寫
**為什么選擇kafka采集數(shù)據(jù)?**
大數(shù)據(jù)采集層主要可以使用Flume,Kafka兩種技術(shù)。
Flume: Flume是管道流方式,提供了很多的默認實現(xiàn),讓用戶通過參數(shù)部署,及擴展API。
Kafka:Kafka是一個可持久化的分布式的消息隊列。Kafka是一個非常通用的系統(tǒng)。你可以有許多生產(chǎn)者和很多的消費者共享多個主題Topics。
相比之下,F(xiàn)lume是一個專用工具被設(shè)計為旨在往HDFS,HBase發(fā)送數(shù)據(jù)。它對HDFS有特殊的優(yōu)化,并且集成了Hadoop的安全特性。所以,Cloudera 建議如果數(shù)據(jù)被多個系統(tǒng)消費的話,使用Kafka;如果數(shù)據(jù)被設(shè)計給Hadoop使用,使用Flume。
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源,準確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級服務(wù)器適合批量采購,新人活動首月15元起,快前往官網(wǎng)查看詳情吧
文章題目:采集數(shù)據(jù)為什么選擇kafka-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載:http://chinadenli.net/article44/desohe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機網(wǎng)站建設(shè)、虛擬主機、網(wǎng)站制作、網(wǎng)站排名、網(wǎng)站導(dǎo)航、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容