一、搭建Zookeeper集群
Zookeeper是一個(gè)分布式開(kāi)源框架，提供了協(xié)調(diào)分布式應(yīng)用的基本服務(wù)，它向外部應(yīng)用暴露一組通用服務(wù)——分布式同步（Distributed Synchronization）、命名服務(wù)（Naming Service）、集群維護(hù)（Group Maintenance）等，簡(jiǎn)化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)。ZooKeeper本身可以以單機(jī)模式安裝運(yùn)行，不過(guò)它的長(zhǎng)處在于通過(guò)分布式ZooKeeper集群（一個(gè)Leader，多個(gè)Follower），基于一定的策略來(lái)保證ZooKeeper集群的穩(wěn)定性和可用性，從而實(shí)現(xiàn)分布式應(yīng)用的可靠性。

創(chuàng)新互聯(lián)公司是專業(yè)的武義網(wǎng)站建設(shè)公司，武義接單;提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行武義網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

1.在zookeeper.apache.org上下載zookeeper-3.4.8.tar.gz
2.解壓 tar -xzvf zookeeper-3.4.8.tar.gz
3.修改權(quán)限 sudo chown -R cms(ubuntu用戶名) zookeeper-3.4.8
4.修改配置文件 /etc/profile，增加

5.對(duì)Zookeeper的配置文件的參數(shù)進(jìn)行設(shè)置
進(jìn)入zookeeper-3.4.5/conf
1)cp zoo_sample.cfg zoo.cfg
2)在zookeeper下新建一個(gè)存放數(shù)據(jù)的目錄
mkdir zookerperdata
3)vim zoo.cfg
4)注意上圖的配置中master，slave1分別為主機(jī)名
在上面的配置文件中"server.id=host:port:port"中的第一個(gè)port是從機(jī)器（follower）連接到主機(jī)器（leader）的端口號(hào)，第二個(gè)port是進(jìn)行l(wèi)eadership選舉的端口號(hào)。
5)創(chuàng)建myid
接下來(lái)在dataDir所指定的目錄下(zookeeper-3.4.8/zookerperdata/)創(chuàng)建一個(gè)文件名為myid的文件，文件中的內(nèi)容只有一行，為本主機(jī)對(duì)應(yīng)的id值，也就是上圖中server.id中的id。例如：在服務(wù)器1中的myid的內(nèi)容應(yīng)該寫入1。
vim myid
6)遠(yuǎn)程復(fù)制到slave1,slave2相同的目錄下
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/
7)修改slave1,slave2機(jī)器上的myid的值分別為2和3
啟動(dòng)ZooKeeper集群
在ZooKeeper集群的每個(gè)結(jié)點(diǎn)上，執(zhí)行啟動(dòng)ZooKeeper服務(wù)的腳本，如下所示：

其中，QuorumPeerMain是zookeeper進(jìn)程，啟動(dòng)正常。
如上依次啟動(dòng)了所有機(jī)器上的Zookeeper之后可以通過(guò)ZooKeeper的腳本來(lái)查看啟動(dòng)狀態(tài)，包括集群中各個(gè)結(jié)點(diǎn)的角色（或是Leader，或是Follower），如下所示，是在ZooKeeper集群中的每個(gè)結(jié)點(diǎn)上查詢的結(jié)果

二、搭建kafka集群

1.下載
下載官網(wǎng)：http://kafka.apache.org/downloads
下載版本：與自己安裝的Scala版本對(duì)應(yīng)的版本，個(gè)人習(xí)慣是下載最新版本的前一版
kafka_2.11-0.10.0.1.tgz
2.安裝
tar -xzf kafka_2.11-0.10.0.1.tgz
cp kafka_2.11-0.10.0.1.tgz /home/cms/kafka
3.配置環(huán)境變量
即path、classpath,意義不大，可不配置
4.修改配置文件kafka/config/server.properties

5.在kafka的目錄下，建立kafka存儲(chǔ)數(shù)據(jù)的目錄
mkdir kafkalogs
6.其他節(jié)點(diǎn)配置
將kafka文件復(fù)制到其他節(jié)點(diǎn)

broker.id=1 #整個(gè)集群內(nèi)唯一id號(hào)，整數(shù)，一般從0開(kāi)始
listeners=PLAINTEXT://192.168.31.132:9092 #協(xié)議、當(dāng)前broker機(jī)器ip、端口
port=9092 #broker端口
host.name=192.168.31.132 #broker 機(jī)器ip

7.每個(gè)節(jié)點(diǎn)下啟動(dòng)zookerper
8.啟動(dòng)kafka進(jìn)程，在每個(gè)節(jié)點(diǎn)的kafka/bin目錄下

--zookeeper : zookeeper集群列表，用英文逗號(hào)分隔。可以不用指定zookeeper整個(gè)集群內(nèi)的節(jié)點(diǎn)列表，只指定某個(gè)或某幾個(gè)zookeeper節(jié)點(diǎn)列表也是你可以的
replication-factor ： 復(fù)制數(shù)目，提供failover機(jī)制；1代表只在一個(gè)broker上有數(shù)據(jù)記錄，一般值都大于1，代表一份數(shù)據(jù)會(huì)自動(dòng)同步到其他的多個(gè)broker，防止某個(gè)broker宕機(jī)后數(shù)據(jù)丟失。
partitions ： 一個(gè)topic可以被切分成多個(gè)partitions，一個(gè)消費(fèi)者可以消費(fèi)多個(gè)partitions，但一個(gè)partitions只能被一個(gè)消費(fèi)者消費(fèi)，所以增加partitions可以增加消費(fèi)者的吞吐量。kafka只保證一個(gè)partitions內(nèi)的消息是有序的，多個(gè)一個(gè)partitions之間的數(shù)據(jù)是無(wú)序的。

9.啟動(dòng)生產(chǎn)者和消費(fèi)者
生產(chǎn)者：kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5
--broker-list : 值可以為broker集群中的一個(gè)或多個(gè)節(jié)點(diǎn)
消費(fèi)者：
kafka-console-consumer.sh --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5 --from-beginning
--zookeeper : 值可以為zookeeper集群中的一個(gè)或多個(gè)節(jié)點(diǎn)
--from-beginning 表示從開(kāi)始第一個(gè)消息開(kāi)始接收

10.查看topic
kafka-topics.sh --list --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181
11.查看topic詳情
kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5

狀態(tài)說(shuō)明：test有三個(gè)分區(qū)分別為1、2、3，分區(qū)0的leader是3（broker.id），分區(qū)0有三個(gè)副本，并且狀態(tài)都為lsr（ln-sync，表示可以參加選舉成為leader）。

12.創(chuàng)建分區(qū)為3、備份為3的topic
bin/kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2182,192.168.31.133:2183 --replication-factor 3 --partitions 3 --topic test5

13.刪除topic
在config/server.properties中加入delete.topic.enable=true并重啟服務(wù)，在執(zhí)行如下命令

kafka-topics.sh --delete --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享名稱：kafka&zookeeper-創(chuàng)新互聯(lián)
網(wǎng)站地址：http://chinadenli.net/article20/hhijo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、手機(jī)網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、響應(yīng)式網(wǎng)站、網(wǎng)站改版、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)