kafka數(shù)據(jù)遷移操作流程:
珙縣網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),珙縣網(wǎng)站設(shè)計(jì)制作,有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為珙縣上1000家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站建設(shè)要多少錢(qián),請(qǐng)找那個(gè)售后服務(wù)好的珙縣做網(wǎng)站的公司定做!
此次數(shù)據(jù)遷移主要是針對(duì)Isr自動(dòng)同步異常,而進(jìn)行手動(dòng)干預(yù)的操作。
具體的故障截圖如下:

一、確認(rèn)同步異常的topic和Isr數(shù)目
./kafka-topics.sh --under-replicated-partitions --describe --zookeeper IP:2181
二、創(chuàng)建文件/tmp/topics-to-move.json
vim /tmp/topics-to-move.json
復(fù)制這些topic,并寫(xiě)成如下格式的文件, 命名為 topics-to-move.json
{"topics": [
{"topic": "test"} //test是對(duì)應(yīng)的topic名字
],
"version":1
}
三、執(zhí)行:
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26" --generate
執(zhí)行結(jié)果會(huì)生成一串新的topics-to-move.json數(shù)據(jù),修改所需轉(zhuǎn)換的Isr對(duì)應(yīng)關(guān)系(例如(14,0)轉(zhuǎn)換為(14,1));
創(chuàng)建新配置文件 touch /tmp/reassignment-node.json
將修改后的topics-to-move.json文件寫(xiě)入reassignment-node.json
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --execute //開(kāi)始遷移
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify //確認(rèn)遷移同步情況,待所有進(jìn)程都successful,遷移完成。
涉及到的監(jiān)控腳本:
while true ;do /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify|awk '/Reassignment/ && $5!~/completed/&& $6 !~ /successfully/'|wc -l;sleep 10;done
/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic CDR_AUDIT|awk -F',|[ ]*|\t' '{if(($9==14)||($10==14))print $0}'
分享文章:kafka數(shù)據(jù)遷移
網(wǎng)站路徑:http://chinadenli.net/article42/ggpjec.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供響應(yīng)式網(wǎng)站、ChatGPT、品牌網(wǎng)站建設(shè)、App開(kāi)發(fā)、軟件開(kāi)發(fā)、關(guān)鍵詞優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)