HBASE基于coprocessor實現(xiàn)二級索引

網(wǎng)站建設哪家好，找成都創(chuàng)新互聯(lián)！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、微信小程序、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了可克達拉免費建站歡迎大家使用！

場景如下:存儲UC_TWEETS表,ROWKEY設計:folderId_dayId_siteId_docId,導出有如下需求:根據(jù)campaignId導出,所以需要存儲campaignId的索引表

實現(xiàn)步驟如下:

一, 代碼實現(xiàn)如下:

public class HbaseCoprocessor extends BaseRegionObserver {

@Override

public void prePut(final ObserverContext<RegionCoprocessorEnvironment> e, final Put put, 

final WALEdit edit, final Durability durability) throws IOException {

Configuration configuration = HBaseConfiguration.create();

configuration.set("hbase.regionserver.lease.period", "900000");  

        configuration.set("hbase.rpc.timeout", "1800000");  

        configuration.set("hbase.client.scanner.timeout.period", "1800000");

        configuration.set("hbase.zookeeper.property.clientPort", "2181");  

        configuration.set("hbase.zookeeper.quorum", "DEV-HADOOP-01,DEV-HADOOP-02,DEV-HADOOP-03");  

        configuration.set("hbase.master", "DEV-HADOOP-01:60000");

        

        HTable table = new HTable(configuration, "UC_INDEX");

   List<Cell> kv = put.get("f1".getBytes(), "campaignId".getBytes()); 

   Iterator<Cell> kvItor = kv.iterator(); 

   while (kvItor.hasNext()) { 

   KeyValue tmp = (KeyValue)kvItor.next(); 

   String rowkey = new String(tmp.getRow());

   String value = new String(tmp.getValue());

   String newRowkey = value + "_" + rowkey;

   Put indexPut = new Put(newRowkey.getBytes()); 

   indexPut.add("f1".getBytes(), tmp.getQualifier(), tmp.getValue()); 

   table.put(indexPut); 

   } 

   table.close();

}

}

二, 把上面的HbaseCoprocessor類導出.選擇Export -> Jar File,導出成ucTweet.jar文件

三, 把ucTweet.jar文件上傳到HDFS,命令如下:./hadoop fs -put /data/server/ucTweet_index.jar /jars

四, 設置UC_TWEETS表的coprocessor屬性,命令如下:alter 'UC_TWEETS',METHOD=>'table_att','coprocessor'=>'hdfs://192.168.9.110:9000/jars/ucTweet.jar|com.prime.dsc.inputservice.coprocessor.HbaseCoprocessor|1001|'

五, 把數(shù)據(jù)插入UC_TWEETS表,如果UC_INDEX表同樣有數(shù)據(jù),并且符合設計,則說明二級索引建立成功

新聞標題：HBASE二級索引
網(wǎng)頁地址：http://chinadenli.net/article16/gphedg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供App設計、ChatGPT、網(wǎng)站建設、外貿(mào)網(wǎng)站建設、靜態(tài)網(wǎng)站、服務器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)