Go 分布式緩存簡單實(shí)現(xiàn)

一個性能優(yōu)異的系統(tǒng)架構(gòu)，緩存是必不可少的。但在緩存的使用，可能會遇到一些問題，比如，內(nèi)存不夠、并發(fā)寫入沖突、單機(jī)性能差等問題。為了解決這些問題，我們引入了分布式緩存。

創(chuàng)新互聯(lián)是一家專業(yè)提供舟曲企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、H5技術(shù)、小程序制作等業(yè)務(wù)。10年已為舟曲眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

本次分享主要通過學(xué)習(xí) 極客兔兔 的文章，對關(guān)鍵節(jié)點(diǎn)進(jìn)行了實(shí)現(xiàn)和解讀。

一致性哈希的實(shí)現(xiàn)是基于哈希環(huán)實(shí)現(xiàn)的，主要為了解決數(shù)據(jù)傾斜和節(jié)點(diǎn)增刪改時緩存雪崩的問題。

緩存擊穿指大量請求同時訪問緩存中不存在數(shù)據(jù)，因?yàn)榫彺嬷胁淮嬖谶@個數(shù)據(jù)，請求就會擊穿到 DB，造成瞬時 DB 壓力驟增。解決方案也很簡單，針對相同的 key，在訪問時，只發(fā)起一次請求。

Protobuf 的安裝和使用教程可以參考 官網(wǎng) ，推薦使用 homebrew 進(jìn)行安裝。

golang怎么使用redis，最基礎(chǔ)的有效的方法

與memcached一樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。

區(qū)別的是Redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎(chǔ)上實(shí)現(xiàn)了master-slave(主從)同步。數(shù)據(jù)可以從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步，從服務(wù)器可以是關(guān)聯(lián)其他從服務(wù)器的主服務(wù)器。

這使得Redis可執(zhí)行單層樹復(fù)制。從盤可以有意無意的對數(shù)據(jù)進(jìn)行寫操作。

由于完全實(shí)現(xiàn)了發(fā)布/訂閱機(jī)制，使得從數(shù)據(jù)庫在任何地方同步樹時，可訂閱一個頻道并接收主服務(wù)器完整的消息發(fā)布記錄。同步對讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。

golang sync.pool對象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請求或高并發(fā)的場景中，頻繁創(chuàng)建銷毀對象，會導(dǎo)致GC壓力。解決辦法之一就是使用對象復(fù)用技術(shù)。在http協(xié)議層之下，使用對象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請求處理的速度。

先上一個測試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來優(yōu)化性能的選擇相違背。這同時也說明了一個問題，好的東西，如果濫用反而造成了性能成倍的下降。在看過pool原理之后，結(jié)合實(shí)例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個 協(xié)程安全 的 臨時對象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實(shí)類型是一個 poolLocal 數(shù)組，localSize 是數(shù)組長度。這涉及到Pool實(shí)現(xiàn)，pool為每個P分配了一個對象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時，goroutine綁定的P有對象，先用自己的，沒有去偷其它P的。go語言將數(shù)據(jù)分散在了各個真正運(yùn)行的P中，降低了鎖競爭，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個關(guān)鍵字，這里的New是Pool的一個字段，也是一個閉包名稱。其API：

如果不指定New字段，對象池為空時會返回nil，而不是一個新構(gòu)建的對象。Get()到的對象是隨機(jī)的。

原生sync.Pool的問題是，Pool中的對象會被GC清理掉，這使得sync.Pool只適合做簡單地對象池，不適合作連接池。

pool創(chuàng)建時不能指定大小，沒有數(shù)量限制。pool中對象會被GC清掉，只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊了一個poolCleanup()函數(shù)，這個方法在GC之前執(zhí)行，清空pool中的所有緩存對象。

為使多協(xié)程使用同一個POOL。最基本的想法就是每個協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對象是無差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個綁定協(xié)程的P都分配一個子池。每個子池又分為私有池和共享列表。共享列表是分別存放在各個P之上的共享區(qū)域，而不是各個P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對象過程：

Put過程：

如何解決Get最壞情況遍歷所有P才獲取得對象呢：

方法1止前sync.pool并沒有這樣的設(shè)置。方法2由于goroutine被分配到哪個P由調(diào)度器調(diào)度不可控，無法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過短，且池大小不可控，因而不適合作連接池。僅適用于增加對象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無元素的P，長時間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測試場景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個原因就是使對象在各個P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時鐘或弱引用回收。最終確定在GC時回收Pool內(nèi)對象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時使用同一個正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對象。避免頻繁構(gòu)建再GC效率高很多。

當(dāng)前名稱：go語言怎么編輯緩存服務(wù),go編譯太慢
分享鏈接：http://chinadenli.net/article37/dsihppj.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、電子商務(wù)、全網(wǎng)營銷推廣、網(wǎng)站策劃、網(wǎng)站導(dǎo)航、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)