如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計與策劃設(shè)計,江達(dá)網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:江達(dá)等地區(qū)。江達(dá)做網(wǎng)站價格咨詢:028-86922220

Kafka的權(quán)限控制和監(jiān)控告警

(1)權(quán)限控制

開始介紹時我們說過，早期Kafka集群沒有設(shè)置安全驗(yàn)證處于裸跑狀態(tài)，因此只要知道Broker的連接地址即可生產(chǎn)消費(fèi)，存在嚴(yán)重的數(shù)據(jù)安全性問題。

一般來說,使用SASL的用戶多會選擇Kerberos，但就平臺Kafka集群的使用場景來說，用戶系統(tǒng)并不復(fù)雜，使用Kerberos就有些大材小用,同時Kerberos相對復(fù)雜，存在引發(fā)其他問題的風(fēng)險。另外，在Encryption方面,由于都是運(yùn)行在內(nèi)網(wǎng)環(huán)境，所以并沒有使用SSL加密。

最終平臺Kafka集群使用SASL作為鑒權(quán)方式,基于SASL/SCRAM+ACL的輕量級組合方式，實(shí)現(xiàn)動態(tài)創(chuàng)建用戶，保障數(shù)據(jù)安全。

(2)監(jiān)控告警

之前在集群的使用中我們經(jīng)常發(fā)現(xiàn)，消費(fèi)應(yīng)用的性能無緣無故變差了。分析問題的原因,通常是滯后Consumer讀取的數(shù)據(jù)大概率沒有命中Page-cache，導(dǎo)致Broker端機(jī)器的內(nèi)核要首先從磁盤讀取數(shù)據(jù)加載到Page-cache中后，才能將結(jié)果返還給Consumer，相當(dāng)于本來可以服務(wù)于寫操作的磁盤現(xiàn)在要讀取數(shù)據(jù)了,影響了使用方讀寫同時降低的集群的性能。

這時就需要找出滯后Consumer的應(yīng)用進(jìn)行事前的干預(yù)從而減少問題發(fā)生，因此監(jiān)控告警無論對平臺還是用戶都有著重大的意義。下面介紹一下我們的實(shí)踐思路。

整體方案：

整體方案主要是基于開源組件KafkaJMXMetrics+OpenFalcon+Grafana：

KafkaJMXMetrics：Kafkabroker的內(nèi)部指標(biāo)都以JMXMetrics的形式暴露給外部。1.1.1版本提供了豐富的監(jiān)控指標(biāo)，滿足監(jiān)控需要

OpenFalcon：小米開源的一款企業(yè)級、高可用、可擴(kuò)展的開源監(jiān)控系統(tǒng)

Grafana：Metrics可視化系統(tǒng)，大家比較熟悉，可對接多種Metrics數(shù)據(jù)源。

關(guān)于告警：

雷達(dá)系統(tǒng):自研監(jiān)控系統(tǒng)，通過Falcon及Eagle獲取Kafka指標(biāo)，結(jié)合設(shè)定閾值進(jìn)行告警。以消費(fèi)方式舉例，Lag是衡量消費(fèi)情況是否正常的一個重要指標(biāo)，如果Lag一直增加，必須要對它進(jìn)行處理。

發(fā)生問題的時候，不僅Consumer管理員要知道，它的用戶也要知道，所以報警系統(tǒng)也需要通知到用戶。具體方式是通過企業(yè)微信告警機(jī)器人自動提醒對應(yīng)消費(fèi)組的負(fù)責(zé)人或使用者及Kafka集群的管理者。

關(guān)于監(jiān)控：

Falcon-agent：部署到每臺Broker上,解析KafkaJMX指標(biāo)上報數(shù)據(jù)

Grafana：用來可視化FalconKafkaMetrics數(shù)據(jù)，對Cluster、Broker、Topic、Consumer4個角色制作監(jiān)控大盤。

Eagle：獲取消費(fèi)組Active狀態(tài)、消費(fèi)組Lag積壓情況，同時提供API，為監(jiān)控告警系統(tǒng)「雷達(dá)」提供監(jiān)控數(shù)據(jù)。

看完上述內(nèi)容，你們掌握如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

當(dāng)前題目：如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://chinadenli.net/article38/jgopp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、服務(wù)器托管、外貿(mào)建站、軟件開發(fā)、定制開發(fā)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)