創(chuàng)新互聯(lián)是網站建設專家,致力于互聯(lián)網品牌建設與網絡營銷，專業(yè)領域包括成都網站制作、網站設計、電商網站制作開發(fā)、微信小程序開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)，與其他網站設計及系統(tǒng)開發(fā)公司不同，我們的整合解決方案結合了恒基網絡品牌建設經驗和互聯(lián)網整合營銷的理念，并將策略和執(zhí)行緊密結合，且不斷評估并優(yōu)化我們的方案，為客戶提供全方位的互聯(lián)網品牌整合方案！

這期內容當中小編將會給大家?guī)碛嘘PUbuntu-16.04中怎么配置Apache Kafka集群，文章內容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Apache Kafka是一個免費的開源流處理軟件平臺，由Apache軟件基金會用Scala編寫。它是一種分布式消息代理，專門用于有效處理大量實時信息。與其他消息代理系統(tǒng)（如ActiveMQ和RabbitMQ）相比，Apache Kafka具有更高吞吐量。Apache Kafka基于提交日志，允許用戶訂閱并將數(shù)據發(fā)布到任意數(shù)量的系統(tǒng)或實時應用程序。

Apache Kafka可以部署在單個Web服務器上，也可以部署在分布式集群環(huán)境中。Apache Kafka有四個主要的API：Producer API，Consumer API，Connector API和Streams API。

特征：

• 支持并行數(shù)據加載到Hadoop；

• 高吞吐量，即便使用適中的硬件，也能支持每秒數(shù)十萬條消息；

• 持久的消息傳遞與O（1）磁盤結構，提供穩(wěn)定的時間性能，即使有數(shù)TB的存儲消息；

• 分布式系統(tǒng)可輕松擴展，無需停機。

本教程要求

• 安裝Ubuntu 16.04服務器的云ECS平臺；

• 配置靜態(tài)IP地址192.168.0.103；

• 在服務器上設置Root密碼。

啟動云ECS實例

首先，登錄云ECS控制臺，你可以選擇喜歡的云平臺。創(chuàng)建一個新的ECS實例，選擇Ubuntu 16.04作為具有至少2GB RAM的操作系統(tǒng)。 連接到ECS實例并以root用戶身份登錄。

登錄到Ubuntu 16.04實例后，運行以下命令以使用最新的可用軟件包更新基本系統(tǒng)：

apt-get update -y

安裝Java

Apache Kafka需要Java運行時環(huán)境，因此需要在系統(tǒng)中安裝最新版本的Java。默認情況下，Ubuntu 16.04存儲庫中不提供最新版本的Java。因此，我們需要將Java存儲庫添加到系統(tǒng)中，可以通過運行以下命令來執(zhí)行此操作：

add-apt-repository ppa:webupd8team/java

接下來，通過運行以下命令更新存儲庫并安裝Java：

apt-get install oracle-java8-installer -y

安裝Java后，可以使用以下命令檢查Java版本：

java -version

輸出：

java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

安裝Zookeeper

Apache Kafka依靠Zookeeper維護配置信息，提供分布式同步，命名和提供組服務。因此，我們需要將Zookeeper安裝到系統(tǒng)中，可以通過運行以下命令來安裝它：

apt-get install zookeeperd -y

默認情況下，Zookeeper偵聽端口2181，可以通過運行以下命令來檢查它：

netstat -nlpt | grep ':2181'

你應該可以看到以下輸出：

tcp6       0      0 :::2181                 :::*                    LISTEN

安裝Apache Kafka

首先，你需要從Apache網站下載最新版本的Kafka，可以通過運行以下命令來下載：

wget  http://redrockdigimark.com/apachemirror/kafka/1.1.0/kafka_2.12-1.1.0.tgz

下載完成后，使用以下命令解壓縮文件：

tar -xvzf kafka_2.12-1.1.0.tgz

接下來，將解壓縮目錄復制到/ opt：

cp -r kafka_2.12-1.1.0 /opt/Kafka

通過運行以下腳本啟動Kafka服務器：

/opt/Kafka/bin/kafka-server-start.sh /opt/Kafka/config/server.properties

你應該可以看到以下輸出：

[2018-05-20 08:13:54,271] INFO [/config/changes-event-process-thread]: Starting (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2018-05-20 08:13:54,449] INFO Kafka version : 1.1.0 (org.apache.kafka.common.utils.AppInfoParser)
[2018-05-20 08:13:54,461] INFO Kafka commitId : fdcf75ea326b8e07 (org.apache.kafka.common.utils.AppInfoParser)
[2018-05-20 08:13:54,466] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Kafka服務器正在偵聽端口9092。

測試Apache Kafka

現(xiàn)在，通過運行以下命令，使用單個分區(qū)和僅一個副本創(chuàng)建名為Topic1的第一個主題：

/opt/Kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  --partitions 1 --topic Topic1

應該看到以下輸出：

Created topic "Topic1".

現(xiàn)在，你可以通過運行以下命令在Kafka上查看已創(chuàng)建的主題：

/opt/Kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

應該可以看到以下輸出：

Topic1

現(xiàn)在，使用以下命令將示例消息發(fā)布到名為Topic1的Apache kafka主題：

/opt/Kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Topic1
>>Hello Kafka
>How R You
>Ok
>

接下來，運行Kafka consumer命令從Kafka集群讀取數(shù)據并將消息顯示到標準輸出：

/opt/Kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic Topic1 --from-beginning

以下輸出應該可以看到發(fā)布的消息：

Hello Kafka
How R You
OK

上述就是小編為大家分享的Ubuntu-16.04中怎么配置Apache Kafka集群了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注創(chuàng)新互聯(lián)-成都網站建設公司行業(yè)資訊頻道。

分享名稱：Ubuntu-16.04中怎么配置ApacheKafka集群-創(chuàng)新互聯(lián)
鏈接地址：http://chinadenli.net/article16/djihgg.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供移動網站建設、App開發(fā)、建站公司、動態(tài)網站、企業(yè)建站、微信公眾號

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)