小編給大家分享一下storm集群WordCount的示例分析，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

十年的山陰網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。成都全網(wǎng)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整山陰建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)從事“山陰網(wǎng)站設(shè)計(jì)”,“山陰網(wǎng)站推廣”以來，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

storm集群實(shí)例運(yùn)行

storm本地運(yùn)行只需要storm的jar包就可以了，結(jié)果可以在控制臺(tái)直接看到，storm集群運(yùn)行，結(jié)果要在log日志里看，或者存儲(chǔ)下來。并且，集群運(yùn)行，execute方法里的輸出可以看到，但是cleanup里的輸出是看不到的，因?yàn)閏leanup只有在topology結(jié)束后才會(huì)執(zhí)行，而storm是實(shí)時(shí)連續(xù)的運(yùn)行的，所以輸出放在execute里或者保存起來查看。

wordcount實(shí)例代碼

代碼在前面的博客里已經(jīng)寫了只是將WordCounter做了點(diǎn)修改

package com.storm.stormDemo;  
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.HashMap;  
import java.util.Iterator;
import java.util.Map; 
import org.apache.log4j.Logger;
import com.storm.stormTest.MergeObjects;
import backtype.storm.task.OutputCollector;  
import backtype.storm.task.TopologyContext;  
import backtype.storm.topology.IRichBolt;  
import backtype.storm.topology.OutputFieldsDeclarer;  
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;  
  
public class WordCounter implements IRichBolt {
 public static Logger LOG = Logger.getLogger(WordCounter.class);
    Integer id;  
    String name;  
    Map<String, Integer> counters;  
    private OutputCollector collector;
    BufferedWriter output;
  
    public void prepare(Map stormConf, TopologyContext context,  
            OutputCollector collector) {  
        this.counters = new HashMap<String, Integer>();  
        this.collector = collector;  
        this.name = context.getThisComponentId();  
        this.id = context.getThisTaskId();  
        try {
   output = new BufferedWriter(new FileWriter("/home/zhanghuan/Downloads/wordcount.txt" , true));
  } catch (IOException e) {
   // TODO Auto-generated catch block
   try {
    output.close();
   } catch (IOException e1) {
    // TODO Auto-generated catch block
    e1.printStackTrace();
   }
   e.printStackTrace();
  }
  
    }  
    public void execute(Tuple input) {  
        String str = input.getString(0);  
        if (!counters.containsKey(str)) {  
            counters.put(str, 1);  
        } else {  
            Integer c = counters.get(str) + 1;  
            counters.put(str, c);  
        }  
        Iterator<String> iterator = counters.keySet().iterator();
        while(iterator.hasNext()){
         String next = iterator.next();
         try {
          System.out.print(next + ":" + counters.get(next) + " ");
    output.write(next + ":" + counters.get(next) + " ");
    output.flush();
   } catch (IOException e) {
    e.printStackTrace();
    try {
     output.close();
    } catch (IOException e1) {
     e1.printStackTrace();
    }
   }
        }
        // 確認(rèn)成功處理一個(gè)tuple
        collector.ack(input);  
    }  
    /** 
     * Topology執(zhí)行完畢的清理工作，比如關(guān)閉連接、釋放資源等操作都會(huì)寫在這里 
     * 因?yàn)檫@只是個(gè)Demo，我們用它來打印我們的計(jì)數(shù)器 
     * */  
    public void cleanup() {  
     LOG.info("-- Word Counter [" + name + "-" + id + "] --");  
        for (Map.Entry<String, Integer> entry : counters.entrySet()) {  
         LOG.info(entry.getKey() + ": " + entry.getValue());  
        }  
        counters.clear();  
    }  
    public void declareOutputFields(OutputFieldsDeclarer declarer) {  
        // TODO Auto-generated method stub  
     //declarer.declare(new Fields("word","number"));
  
    }  
    public Map<String, Object> getComponentConfiguration() {  
        // TODO Auto-generated method stub  
        return null;  
    }  
}

集群運(yùn)行

storm jar StormDemo.jar com.storm.stormDemo.WordCountTopologyMain StormDemo /home/zhanghuan/Downloads/test.txt

注意：主函數(shù)路徑要寫全

如果集群報(bào)錯(cuò)如下：

則打開你打的第三方j(luò)ar包文件夾，在里面找到storm-core-0.10.0.jar，刪除這個(gè)jar包里的default.yarml文件，或則刪掉你打的storm jar包。

topology提交后，會(huì)啟動(dòng)相應(yīng)數(shù)量的worker進(jìn)程和logwriter進(jìn)程，ui界面上也能看到這個(gè)topology的運(yùn)行

這時(shí)候你就可以查看log日志文件或者存儲(chǔ)位置，查看結(jié)果。

沒有數(shù)據(jù)輸入的時(shí)候，日志就像最下方一樣，保持通信。

停止topology運(yùn)行

storm kill topology的名字

看完了這篇文章，相信你對(duì)“storm集群WordCount的示例分析”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)頁題目：storm集群WordCount的示例分析
URL地址：http://chinadenli.net/article12/jighdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、商城網(wǎng)站、定制開發(fā)、企業(yè)建站、域名注冊(cè)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)