前提:zk

專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)官渡免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

什么是kafka

百度百科
Kafka是一個(gè)分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)。它通過(guò)一種獨(dú)一無(wú)二的設(shè)計(jì)提供了一個(gè)消息系統(tǒng)的功能。
目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高通量、低等待的平臺(tái)。
kafka是一個(gè)分布式流媒體平臺(tái)。

安裝配置

主機(jī)列表

下載kafka
cd /data
wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
解壓
tar axf kafka_2.11-1.0.0.tgz
創(chuàng)建日志存放目錄
mkdir -p /data/kafka_2.11-1.0.0/logs

設(shè)置環(huán)境變量（每個(gè)節(jié)點(diǎn)都改）

vim /etc/profile

#kafka
export KAFKA_HOME=/data/kafka_2.11-1.0.0
export PATH=$PATH:${KAFKA_HOME}/bin

source /etc/profile

修改配置文件

cd kafka_2.11-1.0.0/config/
修改zookeeper.properties(用zookeeper的配置文件zoo.conf直接覆蓋)
grep -v "^#" zookeeper.properties

dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
server.1=master:2887:3887 
server.2=slave1:2887:3887
server.3=slave2:2887:3887

vim server.properties

#ID號(hào)，集群中唯一，一般使用本機(jī)ip最后一位
broker.id=58
#"允許刪除topic，默認(rèn)為false"
delete.topic.enable=true
#"

將文件scp到其他兩個(gè)機(jī)器上
scp -r /data/kafka_2.11-1.0.0 slave1:/data
scp -r /data/kafka_2.11-1.0.0 slave2:/data

slave1和slave2修改 server.properties
修改其中的
broker.id
listeners
如slave1

broker.id=54
listeners=PLAINTEXT://slave1:9092

啟動(dòng)kafka（每個(gè)節(jié)點(diǎn)）（會(huì)占用窗口）
kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties
后臺(tái)啟動(dòng)kafka（生產(chǎn)環(huán)境使用）
nohup kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties 2&> /data/kafka_2.11-1.0.0/logs/kafka.log &

關(guān)閉kafka
kafka-server-stop.sh

創(chuàng)建topic

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --partitions 3 --replication-factor 3 --topic test
查看topic
kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

測(cè)試
創(chuàng)建producer
kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic producerest
另外一個(gè)機(jī)器上創(chuàng)建consumer
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic producerest --from-beginning

producer產(chǎn)生消費(fèi)，consumer接收消費(fèi)


使用ctrl+c退出

參考

配置詳解（官方文檔）：http://kafka.apache.org/documentation/#configuration