工作需要接觸到j(luò)storm JStorm集群包含兩類節(jié)點(diǎn)：主控節(jié)點(diǎn)（Nimbus）和工作節(jié)點(diǎn)（Suprvisor）

創(chuàng)新互聯(lián)專注于武川網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供武川營(yíng)銷型網(wǎng)站建設(shè)，武川網(wǎng)站制作、武川網(wǎng)頁設(shè)計(jì)、武川網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造武川網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供武川網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

1. 主控節(jié)點(diǎn)（Nimbus）上運(yùn)行Nimbus Daemon。Nimbus負(fù)責(zé)接收Client提交的Topology，分發(fā)代碼，分配任務(wù)給工作節(jié)點(diǎn)，監(jiān)控集群中運(yùn)行任務(wù)的狀態(tài)等工作。Nimbus作用類似于Hadoop中JobTracker。
2. 工作節(jié)點(diǎn)（Supervior）上運(yùn)行Supervisor D。Supervior通過subscribe Zookeeper相關(guān)數(shù)據(jù)監(jiān)聽Nimbus分配過來任務(wù)，據(jù)此啟動(dòng)或停止Worker工作進(jìn)程。每個(gè)Worker工作進(jìn)程執(zhí)行一個(gè)Topology任務(wù)的子集；單個(gè)Topology的任務(wù)由分布在多個(gè)工作節(jié)點(diǎn)上的Worker工作進(jìn)程協(xié)同處理。
   https://blog.csdn.net/wwwxxdddx/article/details/49978311
   Nimbus和Supervisor節(jié)點(diǎn)之間的協(xié)調(diào)工作通過Zookeeper實(shí)現(xiàn)。此外，Nimbus和Supervisor本身均為無狀態(tài)進(jìn)程，支持Fail Fast；JStorm集群節(jié)點(diǎn)的狀態(tài)信息或存儲(chǔ)在Zookeeper，或持久化到本地，這意味著即使Nimbus/Supervisor宕機(jī)，重啟后即可繼續(xù)工作。這個(gè)設(shè)計(jì)使得JStorm集群具有非常好的穩(wěn)定性

先了解他是干什么的
分布式實(shí)時(shí)計(jì)算引擎，就是你給他數(shù)據(jù)，按照你編寫的規(guī)則，他處理完
標(biāo)準(zhǔn)解釋：用戶按照規(guī)定的變成規(guī)范實(shí)現(xiàn)一個(gè)任務(wù)，將任務(wù)放到j(luò)storm上，jstorm就將任務(wù)7*24小時(shí)調(diào)度起來
優(yōu)點(diǎn)：開發(fā)非常迅速，容易上手，就像有水龍頭 -》污水池處理 --》下游
擴(kuò)展性極好，一個(gè)worker壞了調(diào)度器nimbus會(huì)馬上分配另外一個(gè)
準(zhǔn)確性比較高，采用了acker機(jī)制，保證數(shù)據(jù)不丟失，
使用場(chǎng)景：日志分析，管道系統(tǒng)，消息轉(zhuǎn)化，統(tǒng)計(jì)分析
這幾個(gè)術(shù)語要知道
角色 作用
Nimbus 調(diào)度器 分配任務(wù)的
Supervisor Worker的代理角色，負(fù)責(zé)Kill掉Worker和運(yùn)行Worker 污水池處理的
Worker Task的容器 工人
Task 任務(wù)的執(zhí)行者 工人
ZooKeeper 系統(tǒng)的協(xié)調(diào)者 系統(tǒng)協(xié)調(diào)者
stream 流 流是一個(gè)無間斷的連續(xù)的tuple元值，
spout 原始元祖的源頭，就像是水龍頭，這個(gè)可能是消息中間件如MQ，Kafka，TBNofity 不間斷發(fā)出消息
有了源頭，有了tuple，拿著這些數(shù)據(jù)的處理過程就是Bolt
Bolt 消費(fèi)任意數(shù)量的輸入流，污水池 ，

你的spout打開了，想得到那種類型的水就打開那種類型的Bolt，處理完就會(huì)再進(jìn)行下一步處理或者流向別的容器
Tuple value list 值列表
Topology 有向無環(huán)圖即拓?fù)洌粋€(gè)拓?fù)渚褪且粋€(gè)數(shù)據(jù)流轉(zhuǎn)圖，途中標(biāo)注每一個(gè)節(jié)點(diǎn)是一個(gè)spout還是bolt，把元祖數(shù)據(jù)發(fā)送到那個(gè)bolt，
worker和task
worker表示一個(gè)進(jìn)程，tash表示一個(gè)線程，一個(gè)進(jìn)程對(duì)應(yīng)多個(gè)線程，
Supervisor是JStorm中的工作節(jié)點(diǎn)，類似于MR的TT，subscribe zookeeper的任務(wù)調(diào)度結(jié)果數(shù)據(jù)，根據(jù)任務(wù)調(diào)度情況啟動(dòng)/停止工作進(jìn)程Worker。同時(shí)Supervisor需要定期向zookeeper寫入活躍端口信息以便Nimbus監(jiān)控。Supervisor不執(zhí)行具體處理工作，所有的計(jì)算任務(wù)都交Worker完成。從整個(gè)架構(gòu)上看，Supervisor處在整個(gè)JStorm三級(jí)管理架構(gòu)的中間環(huán)節(jié)，輔助管理任務(wù)調(diào)度和資源管理工作。
Supervisor單節(jié)點(diǎn)架構(gòu)如上圖所示，初始化時(shí)啟動(dòng)進(jìn)程Supervisor，根據(jù)Nimbus分配的任務(wù)情況觸發(fā)啟動(dòng)/停用Worker JVM進(jìn)程，其中每個(gè)Worker進(jìn)程啟動(dòng)一個(gè)或多個(gè)Task線程，其中Task須同屬單個(gè)Topology。從整個(gè)Supervisor節(jié)點(diǎn)來看運(yùn)行多個(gè)JVM進(jìn)程，包括一個(gè)Supervisor進(jìn)程和一個(gè)或多個(gè)Worker進(jìn)程。
不同角色狀態(tài)通過不同的方式維護(hù)。其中Task通過hb直接將包括時(shí)間信息和當(dāng)前Task的統(tǒng)計(jì)信息寫到zookeeper；Worker定期將包括Topology id，端口，Task id集合及當(dāng)前時(shí)間寫入本地；Supervisor定期將包括時(shí)間及節(jié)點(diǎn)資源（端口集合）寫到zookeeper，同時(shí)從zookeeper讀取任務(wù)調(diào)度結(jié)果，根據(jù)結(jié)果啟動(dòng)/停用Worker進(jìn)程。

記住這個(gè)圖片基本上沒什么打的困難了入門了就，

了解這個(gè)也得知道一個(gè)流的概念，就是水龍頭 -》污水池處理 --》下游

這個(gè)鏈接比較形象https://www.cnblogs.com/smartloli/p/4810362.html

文章題目：jstorm干貨
URL鏈接：http://chinadenli.net/article16/pgpsdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站改版、面包屑導(dǎo)航、企業(yè)建站、App設(shè)計(jì)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)