此時(shí)OpenTSDB沒(méi)有內(nèi)置緩存(除了將緩存PNG圖像文件60秒的內(nèi)置GUI)。因此只能依靠底層數(shù)據(jù)庫(kù)的緩存。在HBase(最常見(jiàn)的OpenTSDB后端)中,有一個(gè)塊緩存的概念,它可以在寫(xiě)入 和/或 讀取時(shí)在內(nèi)存中存儲(chǔ)行和列的塊。Nick Dimiduck的Block Cache 101是一個(gè)很好的入門(mén)書(shū)。設(shè)置緩存的一個(gè)好方法是使用BucketCache緩存并將L1緩存大小設(shè)置得相當(dāng)大,這樣它就可以充當(dāng)寫(xiě)緩存并將大部分最新數(shù)據(jù)保存在內(nèi)存中。然后,當(dāng)用戶運(yùn)行查詢時(shí),L2緩存可以將經(jīng)常查詢的數(shù)據(jù)保存在內(nèi)存中。
仔細(xì)觀察region server的GC暫停。用戶通常在堆外模式下運(yùn)行bucket cache,但在堆外緩存命中和寫(xiě)入操作中,Java和JNI之間的序列化操作仍有一定的代價(jià)。
另外,請(qǐng)確保HBase表已啟用壓縮。塊使用表中指定的壓縮算法存儲(chǔ)在內(nèi)存中,因此與未壓縮的塊相比可以將更多壓縮塊放入緩存中。

如果通常在某個(gè)指標(biāo)中查找一個(gè)或兩個(gè)時(shí)間序列的查詢(即多個(gè)標(biāo)簽值不同),請(qǐng)確保使用了2.3或更高版本且在查詢中啟用了explicitTags。查詢必須列出與正在查找的數(shù)據(jù)相關(guān)聯(lián)的所有標(biāo)簽key,但它會(huì)啟用HBase上的特殊過(guò)濾器,這將有助于減少掃描的行數(shù)。詳情請(qǐng)參閱查詢過(guò)濾器。
或者,如果在指標(biāo)名稱中放置高基數(shù)的標(biāo)簽,這將大大減少查詢時(shí)掃描的數(shù)據(jù)量并提高性能。請(qǐng)參閱編寫(xiě)數(shù)據(jù)以獲取更多信息
對(duì)于將許多時(shí)間序列聚合在一起的查詢,提高性能的最佳方法是在啟用salting的情況下運(yùn)行OpenTSDB 2.2或更高版本,并在HBase集群中運(yùn)行多個(gè)regionserver。這將并行執(zhí)行查詢,從每個(gè)regionserver獲取數(shù)據(jù)子集并合并結(jié)果。例如,對(duì)于單個(gè)regionserver,查詢可能需要10秒才能完成。使用salting將相同的數(shù)據(jù)寫(xiě)入5個(gè)regionserver時(shí),相同的查詢大約花費(fèi)2秒,它是由最慢的regionserver響應(yīng)所需的時(shí)間決定的。合并集合通常是微不足道的。
如果在TSD和消費(fèi)應(yīng)用程序(例如UI或API客戶端)之間觀察到瓶頸,那么查看寬時(shí)間范圍(例如幾個(gè)月或幾年)的查詢可以使用降采樣,并從中受益。使用降采樣器將減少由TSD序列化并發(fā)送給用戶的數(shù)據(jù)量。
但是,如果存儲(chǔ)(HBase)和TSD之間存在瓶頸,那么最好的解決方案是使用OpenTSDB 2.4或更高版本開(kāi)始寫(xiě)入上卷數(shù)據(jù)。這需要外部系統(tǒng)計(jì)算基于時(shí)間的上卷并將其寫(xiě)入存儲(chǔ)。或者,UI或API客戶端可針對(duì)較小時(shí)間范圍跨度的多個(gè)TSD執(zhí)行多個(gè)查詢并將結(jié)果合并在一起。未來(lái)我們計(jì)劃直接向TSD添加這些功能。
需要考慮的其他事項(xiàng):
運(yùn)行多個(gè)專用于讀取數(shù)據(jù)的TSD,并在它們的前面放置負(fù)載均衡器。這是運(yùn)行OpenTSDB時(shí)觀察到的最常見(jiàn)的設(shè)置,允許在不關(guān)閉整個(gè)系統(tǒng)的情況下輪換升級(jí)TSD。
HBase有許多可以調(diào)整的參數(shù),一般而言,大多數(shù)OpenTSDB的瓶頸都來(lái)自HBase。確保監(jiān)視服務(wù)器,特別是隊(duì)列,緩存,響應(yīng)時(shí)間,CPU和GC。
沒(méi)有數(shù)據(jù)庫(kù)系統(tǒng)可以避免長(zhǎng)時(shí)間運(yùn)行或資源浪費(fèi)查詢。要求用戶從較小的時(shí)間范圍開(kāi)始,如1小時(shí),并逐漸增加時(shí)間范圍。還有幫助用戶了解基數(shù),以及如何請(qǐng)求high_cardinality_tag_key=*可能是一個(gè)壞主意。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
網(wǎng)站名稱:OpentTsdb官方文檔中文版----查詢性能-創(chuàng)新互聯(lián)
分享地址:http://chinadenli.net/article6/ejhog.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)、App設(shè)計(jì)、電子商務(wù)、服務(wù)器托管
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容