kafka集群搭建

• 前言
• 詳細(xì)步驟
• • 1、下載安裝包
  • 2、解壓
  • 3、創(chuàng)建存放kafka消息的目錄
  • 4、修改配置文件
  • 5、分發(fā)kafka安裝目錄
  • 6、編寫kafka集群操作腳本
  • 7、啟動(dòng)kafka集群
  • 8、測(cè)試
  • • 創(chuàng)建主題
    • 查看主題列表
    • 啟動(dòng)控制臺(tái)生產(chǎn)者
    • 啟動(dòng)控制臺(tái)消費(fèi)者

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了丹棱免費(fèi)建站歡迎大家使用！前言

大家好，我是風(fēng)云，歡迎大家關(guān)注我的博客，在未來(lái)的日子里我們一起來(lái)學(xué)習(xí)大數(shù)據(jù)相關(guān)的技術(shù)，一起努力奮斗，遇見更好的自己！
百度百科對(duì)Kafka有如下描述：
Kafka是由Apache軟件基金會(huì)開發(fā)的一個(gè)開源流處理平臺(tái)，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。
具備以下特點(diǎn)：

• 高吞吐量、低延遲：kafka每秒可以處理百萬(wàn)條消息，它的延遲最低只有幾毫秒，topic可以分多個(gè)partition,consumer group對(duì)partition進(jìn)行consumer操作
• 可擴(kuò)展性：kafka集群支持熱擴(kuò)展
• 持久性、可靠性：消息被持久化到本地磁盤，并且支持?jǐn)?shù)據(jù)備份防止數(shù)據(jù)丟失
• 容錯(cuò)性：允許集群中節(jié)點(diǎn)失?。ㄈ舾北緮?shù)量為n,則允許n-1個(gè)節(jié)點(diǎn)失敗）
• 高并發(fā)：支持?jǐn)?shù)千個(gè)客戶端同時(shí)讀寫

基于Kafka具備這么多特點(diǎn)，在大數(shù)據(jù)開發(fā)領(lǐng)域已經(jīng)占據(jù)不可或缺的地位，我們?cè)诠ぷ髦芯蜁?huì)不可避免與之打交道，那么搭建Kafka集群就非常有必要了，今天就來(lái)分享一下kafka集群搭建的詳細(xì)過程。

詳細(xì)步驟

前期準(zhǔn)備：

1. 準(zhǔn)備三個(gè)虛擬機(jī)：
   192.168.36.121 hadoop1
192.168.36.122 hadoop2
192.168.36.123 hadoop3
2. 虛擬機(jī)上配置有ssh服務(wù)，可以進(jìn)行免密登錄
3. Kafka運(yùn)行在JVM上，需要安裝JDK
4. kafka依賴zookeeper，需要安裝zookeeper，可以參考我的另一篇文章《zookeeper集群搭建超詳細(xì)教程》

注意：下邊的步驟都是在hadoop1這個(gè)節(jié)點(diǎn)上進(jìn)行的操作，除特殊說(shuō)明外。

1、下載安裝包

cd /opt/module
# 下載kafka安裝包
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2、解壓

# 解壓kafka安裝包
tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka

3、創(chuàng)建存放kafka消息的目錄

cd kafka
mkdir kafka-logs

4、修改配置文件

vim /opt/module/kafka/config/server.properties
# 修改如下參數(shù)
broker.id=0 
listeners=PLAINTEXT://hadoop1:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

參數(shù)說(shuō)明：
broker.id： 集群內(nèi)全局唯一標(biāo)識(shí)，每個(gè)節(jié)點(diǎn)上需要設(shè)置不同的值
listeners：這個(gè)IP地址也是與本機(jī)相關(guān)的，每個(gè)節(jié)點(diǎn)上設(shè)置為自己的IP地址
log.dirs：存放kafka消息的
zookeeper.connect： 配置的是zookeeper集群地址

5、分發(fā)kafka安裝目錄

# 分發(fā)kafka安裝目錄給其他集群節(jié)點(diǎn)
scp -r /opt/module/kafka/ hadoop2:/opt/module
scp -r /opt/module/kafka/ hadoop3:/opt/module

分發(fā)完成后，其他集群節(jié)點(diǎn)都需要修改配置文件server.properties中的broker.id和listeners參數(shù)。

6、編寫kafka集群操作腳本

# 導(dǎo)入java環(huán)境
vim /etc/profile
# 添加如下內(nèi)容(注意：填寫自己的java安裝目錄)
export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

cd /opt/module/kafka/bin
# 創(chuàng)建kafka啟動(dòng)腳本
vim kafka-cluster.sh
# 添加如下內(nèi)容
#!/bin/bash
case $1 in
"start"){for i in hadoop1 hadoop2 hadoop3
	do 
		 echo -------------------------------- $i kafka 啟動(dòng) ---------------------------
		ssh $i "source /etc/profile;/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
	done
}
;;
"stop"){for i in hadoop1 hadoop2 hadoop3
	do
		echo -------------------------------- $i kafka 停止 ---------------------------
		ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh"
	done
}
;;
esac

# 保存退出后，修改執(zhí)行權(quán)限
chmod +x ./kafka-cluster.sh

腳本命令說(shuō)明：

啟動(dòng)kafka集群命令
./kafka-cluster.sh start

停止kafka集群命令
./kafka-cluster.sh stop

7、啟動(dòng)kafka集群

首先啟動(dòng)zookeeper集群
然后執(zhí)行kafka集群腳本啟動(dòng)命令

cd /opt/module/kafka/bin
./kafka-cluster.sh start

8、測(cè)試

kafka集群?jiǎn)?dòng)成功后，我們就可以對(duì)kafka集群進(jìn)行操作了。

創(chuàng)建主題

cd /opt/module/kafka
./bin/kafka-topics.sh --create --bootstrap-server hadoop1:9092 --replication-factor 3 --partitions 1 --topic test

查看主題列表

./bin/kafka-topics.sh --list --bootstrap-server hadoop1:9092

啟動(dòng)控制臺(tái)生產(chǎn)者

./bin/kafka-console-producer.sh --broker-list hadoop1:9092 --topic test

啟動(dòng)控制臺(tái)消費(fèi)者

./bin/kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic test --from-beginning

在生產(chǎn)者控制臺(tái)輸入hello kafka，消費(fèi)者控制臺(tái)，就可以消費(fèi)到生產(chǎn)者的消息，輸出hello kafka，表示消費(fèi)端成功消費(fèi)了生產(chǎn)者生產(chǎn)的消息！

至此，我們就順利完成了kafka集群搭建的整個(gè)過程！

希望大家都能有所收獲，喜歡的可以點(diǎn)贊和收藏，有疑問的可以在評(píng)論區(qū)留言，也歡迎轉(zhuǎn)發(fā)分享給更多的人！

謝謝大家！

-------------- end ----------------

微信公眾號(hào)：請(qǐng)掃描下面的二維碼進(jìn)行關(guān)注！

個(gè)人微信：請(qǐng)掃描下面的二維碼添加好友！

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

文章名稱：kafka集群搭建超詳細(xì)教程-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://chinadenli.net/article0/depjio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站內(nèi)鏈、網(wǎng)站排名、標(biāo)簽優(yōu)化、小程序開發(fā)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)