5.9、Kafka集群安裝部署 5.9.1、簡介

Kafka是一款分布式的、去中心化的、高吞吐低延遲、訂閱模式的消息隊列系統(tǒng)。

創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站建設(shè)、成都做網(wǎng)站與策劃設(shè)計,巴州網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:巴州等地區(qū)。巴州做網(wǎng)站價格咨詢:028-86922220

同RabbitMQ一樣，Kafka也是消息隊列。不過RabbitMQ多用于后端系統(tǒng)，因其更加專注于消息的延遲和容錯。

Kafka多用于大數(shù)據(jù)體系，因其更加專注于數(shù)據(jù)的吞吐能力。

Kafka多數(shù)都是運行在分布式（集群化）模式下，所以課程將以3臺服務(wù)器，來完成Kafka集群的安裝部署。

5.9.2、安裝

1、確保已經(jīng)安裝并部署了JDK和ZooKeeper服務(wù)

Kafka的運行依賴JDK環(huán)境和ZooKeeper，請確保已經(jīng)有了JDK環(huán)境和ZooKeeper。
若沒有JDK和ZooKeeper，請點擊集群化前置準備和ZooKeeper安裝部署

2、【在node1操作】下載并上傳Kafka的安裝包

# 下載安裝包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

3、【在node1操作】解壓

# 此文件夾如果不存在需先創(chuàng)建
mkdir -p /export/server			

# 解壓
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

# 創(chuàng)建軟鏈接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

4、【在node1操作】修改Kafka目錄內(nèi)的config目錄內(nèi)的server.properties文件

# 編輯server.properties
vim server.properties

# 指定broker的id
broker.id=1
# 指定 kafka的綁定監(jiān)聽的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka數(shù)據(jù)的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三個節(jié)點
zookeeper.connect=node1:2181,node2:2181,node3:2181

5、【在node1操作】將node1的kafka復(fù)制到node2和node3

cd /export/server

# 復(fù)制到node2同名文件夾
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 復(fù)制到node3同名文件夾
scp -r kafka_2.12-2.4.1 node3:$PWD

6、【在node2操作】

# 創(chuàng)建軟鏈接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=2
# 指定 kafka的綁定監(jiān)聽的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka數(shù)據(jù)的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三個節(jié)點
zookeeper.connect=node1:2181,node2:2181,node3:2181

7、【在node3操作】

# 創(chuàng)建軟鏈接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=3
# 指定 kafka的綁定監(jiān)聽的地址
listeners=PLAINTEXT://node3:9092
# 指定Kafka數(shù)據(jù)的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三個節(jié)點
zookeeper.connect=node1:2181,node2:2181,node3:2181

8、啟動kafka

# 請先確保Zookeeper已經(jīng)啟動了

# 方式1：【前臺啟動】分別在node1、2、3上執(zhí)行如下語句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2：【后臺啟動】分別在node1、2、3上執(zhí)行如下語句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >>/export/server/kafka/kafka-server.log &

9、驗證Kafka啟動

# 在每一臺服務(wù)器執(zhí)行
jps

5.9.3、測試Kafka能否正常使用

1、創(chuàng)建測試主題

# 在node1執(zhí)行，創(chuàng)建一個主題
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

2、運行測試，請在FinalShell中打開2個node1的終端頁面

# 打開一個終端頁面，啟動一個模擬的數(shù)據(jù)生產(chǎn)者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打開一個新的終端頁面，在啟動一個模擬的數(shù)據(jù)消費者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)站題目：Linux學習筆記——Kafka集群安裝部署-創(chuàng)新互聯(lián)
文章源于：http://chinadenli.net/article46/dhpghg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、軟件開發(fā)、靜態(tài)網(wǎng)站、標簽優(yōu)化、定制網(wǎng)站、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)