golang sync.pool對(duì)象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會(huì)構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請(qǐng)求或高并發(fā)的場(chǎng)景中，頻繁創(chuàng)建銷毀對(duì)象，會(huì)導(dǎo)致GC壓力。解決辦法之一就是使用對(duì)象復(fù)用技術(shù)。在http協(xié)議層之下，使用對(duì)象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對(duì)象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請(qǐng)求處理的速度。

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比雙橋網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式雙橋網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋雙橋地區(qū)。費(fèi)用合理售后完善，十余年實(shí)體公司更值得信賴。

先上一個(gè)測(cè)試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來(lái)優(yōu)化性能的選擇相違背。這同時(shí)也說(shuō)明了一個(gè)問(wèn)題，好的東西，如果濫用反而造成了性能成倍的下降。在看過(guò)pool原理之后，結(jié)合實(shí)例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個(gè) 協(xié)程安全 的 臨時(shí)對(duì)象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實(shí)類型是一個(gè) poolLocal 數(shù)組，localSize 是數(shù)組長(zhǎng)度。這涉及到Pool實(shí)現(xiàn)，pool為每個(gè)P分配了一個(gè)對(duì)象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時(shí)，goroutine綁定的P有對(duì)象，先用自己的，沒(méi)有去偷其它P的。go語(yǔ)言將數(shù)據(jù)分散在了各個(gè)真正運(yùn)行的P中，降低了鎖競(jìng)爭(zhēng)，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個(gè)關(guān)鍵字，這里的New是Pool的一個(gè)字段，也是一個(gè)閉包名稱。其API：

如果不指定New字段，對(duì)象池為空時(shí)會(huì)返回nil，而不是一個(gè)新構(gòu)建的對(duì)象。Get()到的對(duì)象是隨機(jī)的。

原生sync.Pool的問(wèn)題是，Pool中的對(duì)象會(huì)被GC清理掉，這使得sync.Pool只適合做簡(jiǎn)單地對(duì)象池，不適合作連接池。

pool創(chuàng)建時(shí)不能指定大小，沒(méi)有數(shù)量限制。pool中對(duì)象會(huì)被GC清掉，只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊(cè)了一個(gè)poolCleanup()函數(shù)，這個(gè)方法在GC之前執(zhí)行，清空pool中的所有緩存對(duì)象。

為使多協(xié)程使用同一個(gè)POOL。最基本的想法就是每個(gè)協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對(duì)象是無(wú)差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個(gè)綁定協(xié)程的P都分配一個(gè)子池。每個(gè)子池又分為私有池和共享列表。共享列表是分別存放在各個(gè)P之上的共享區(qū)域，而不是各個(gè)P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對(duì)象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對(duì)象過(guò)程：

Put過(guò)程：

如何解決Get最壞情況遍歷所有P才獲取得對(duì)象呢：

方法1止前sync.pool并沒(méi)有這樣的設(shè)置。方法2由于goroutine被分配到哪個(gè)P由調(diào)度器調(diào)度不可控，無(wú)法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過(guò)短，且池大小不可控，因而不適合作連接池。僅適用于增加對(duì)象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無(wú)元素的P，長(zhǎng)時(shí)間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測(cè)試場(chǎng)景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測(cè)試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對(duì)象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個(gè)原因就是使對(duì)象在各個(gè)P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對(duì)象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時(shí)鐘或弱引用回收。最終確定在GC時(shí)回收Pool內(nèi)對(duì)象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒(méi)有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時(shí)使用同一個(gè)正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對(duì)象。避免頻繁構(gòu)建再GC效率高很多。

為什么要使用 Go 語(yǔ)言，Go 語(yǔ)言的優(yōu)勢(shì)在哪里

部署簡(jiǎn)單。Go編譯生成的是一個(gè)靜態(tài)可執(zhí)行文件，除了glibc外沒(méi)有其他外部依賴。這讓部署變得異常方便：目標(biāo)機(jī)器上只需要一個(gè)基礎(chǔ)的系統(tǒng)和必要的管理、監(jiān)控工具，完全不需要操心應(yīng)用所需的各種包、庫(kù)的依賴關(guān)系，大大減輕了維護(hù)的負(fù)擔(dān)。這和Python有著巨大的區(qū)別。由于歷史的原因，Python的部署工具生態(tài)相當(dāng)混亂【比如setuptools,distutils,pip,

buildout的不同適用場(chǎng)合以及兼容性問(wèn)題】。官方PyPI源又經(jīng)常出問(wèn)題，需要搭建私有鏡像，而維護(hù)這個(gè)鏡像又要花費(fèi)不少時(shí)間和精力。

并發(fā)性好。Goroutine和channel使得編寫高并發(fā)的服務(wù)端軟件變得相當(dāng)容易，很多情況下完全不需要考慮鎖機(jī)制以及由此帶來(lái)的各種問(wèn)題。單個(gè)Go應(yīng)用也能有效的利用多個(gè)CPU核，并行執(zhí)行的性能好。這和Python也是天壤之比。多線程和多進(jìn)程的服務(wù)端程序編寫起來(lái)并不簡(jiǎn)單，而且由于全局鎖GIL的原因，多線程的Python程序并不能有效利用多核，只能用多進(jìn)程的方式部署;如果用標(biāo)準(zhǔn)庫(kù)里的multiprocessing包又會(huì)對(duì)監(jiān)控和管理造成不少的挑戰(zhàn)【我們用的supervisor管理進(jìn)程，對(duì)fork支持不好】。部署Python應(yīng)用的時(shí)候通常是每個(gè)CPU核部署一個(gè)應(yīng)用，這會(huì)造成不少資源的浪費(fèi)，比如假設(shè)某個(gè)Python應(yīng)用啟動(dòng)后需要占用100MB內(nèi)存，而服務(wù)器有32個(gè)CPU核，那么留一個(gè)核給系統(tǒng)、運(yùn)行31個(gè)應(yīng)用副本就要浪費(fèi)3GB的內(nèi)存資源。

良好的語(yǔ)言設(shè)計(jì)。從學(xué)術(shù)的角度講Go語(yǔ)言其實(shí)非常平庸，不支持許多高級(jí)的語(yǔ)言特性;但從工程的角度講，Go的設(shè)計(jì)是非常優(yōu)秀的：規(guī)范足夠簡(jiǎn)單靈活，有其他語(yǔ)言基礎(chǔ)的程序員都能迅速上手。更重要的是Go自帶完善的工具鏈，大大提高了團(tuán)隊(duì)協(xié)作的一致性。比如gofmt自動(dòng)排版Go代碼，很大程度上杜絕了不同人寫的代碼排版風(fēng)格不一致的問(wèn)題。把編輯器配置成在編輯存檔的時(shí)候自動(dòng)運(yùn)行g(shù)ofmt，這樣在編寫代碼的時(shí)候可以隨意擺放位置，存檔的時(shí)候自動(dòng)變成正確排版的代碼。此外還有g(shù)ofix,

govet等非常有用的工具。

執(zhí)行性能好。雖然不如C和Java，但通常比原生Python應(yīng)用還是高一個(gè)數(shù)量級(jí)的，適合編寫一些瓶頸業(yè)務(wù)。內(nèi)存占用也非常省。

go的chan性能有c++的雙對(duì)列好嗎

個(gè)人看法：

對(duì)于C++來(lái)說(shuō)，go補(bǔ)充了一個(gè)快速開發(fā)多線程程序的方案，在c++中使用指針，必須小心的包裝智能指針進(jìn)行和弱引用來(lái)保證線程與指針析構(gòu)之間的先后順序

go顯然更靈活的做到這一點(diǎn)，并且將異步，通知的方案直接嵌入到了I/O層，與他自己的goroutine調(diào)度器進(jìn)行了結(jié)合，非常方便開發(fā)i/o相關(guān)的程序。

另外在文本處理方面也有線程的優(yōu)良庫(kù)，方便的結(jié)合github的安裝第三方庫(kù)方案，這些現(xiàn)代的新方案確實(shí)要比c++老邁的發(fā)展步伐更讓人眼前一亮。

最后go語(yǔ)言能做到什么，我個(gè)人覺(jué)得多線程、重度i/o，快速開發(fā)是他的標(biāo)簽。

另外，新語(yǔ)言提供的新思路，肯定會(huì)提高包括C++/python在內(nèi)各種語(yǔ)言發(fā)展的步伐。

為什么要使用 Go 語(yǔ)言？Go 語(yǔ)言的優(yōu)勢(shì)在哪里

1. 保留但大幅度簡(jiǎn)化指針

Go語(yǔ)言保留著C中值和指針的區(qū)別，但是對(duì)于指針?lè)爆嵱梅ㄟM(jìn)行了大量的簡(jiǎn)化，引入引用的概念。所以在Go語(yǔ)言中，你幾乎不用擔(dān)心會(huì)因?yàn)橹苯硬僮鲀?nèi)寸而引起各式各樣的錯(cuò)誤。

2. 多參數(shù)返回

還記得在C里面為了回饋多個(gè)參數(shù)，不得不開辟幾段指針傳到目標(biāo)函數(shù)中讓其操作么？在Go里面這是完全不必要的。而且多參數(shù)的支持讓Go無(wú)需使用繁瑣的exceptions體系，一個(gè)函數(shù)可以返回期待的返回值加上error，調(diào)用函數(shù)后立刻處理錯(cuò)誤信息，清晰明了。

3. Array，slice，map等內(nèi)置基本數(shù)據(jù)結(jié)構(gòu)

如果你習(xí)慣了Python中簡(jiǎn)潔的list和dict操作，在Go語(yǔ)言中，你不會(huì)感到孤單。一切都是那么熟悉，而且更加高效。如果你是C++程序員，你會(huì)發(fā)現(xiàn)你又找到了STL的vector 和 map這對(duì)朋友。

4. Interface

Go語(yǔ)言最讓人贊嘆不易的特性，就是interface的設(shè)計(jì)。任何數(shù)據(jù)結(jié)構(gòu)，只要實(shí)現(xiàn)了interface所定義的函數(shù)，自動(dòng)就implement了這個(gè)interface，沒(méi)有像Java那樣冗長(zhǎng)的class申明，提供了靈活太多的設(shè)計(jì)度和OO抽象度，讓你的代碼也非常干凈。千萬(wàn)不要以為你習(xí)慣了Java那種一條一條加implements的方式，感覺(jué)還行，等接口的設(shè)計(jì)越來(lái)越復(fù)雜的時(shí)候，無(wú)數(shù)Bug正在后面等著你。

同時(shí)，正因?yàn)槿绱耍珿o語(yǔ)言的interface可以用來(lái)表示任何generic的東西，比如一個(gè)空的interface，可以是string可以是int，可以是任何數(shù)據(jù)類型，因?yàn)檫@些數(shù)據(jù)類型都不需要實(shí)現(xiàn)任何函數(shù)，自然就滿足空interface的定義了。加上Go語(yǔ)言的type assertion，可以提供一般動(dòng)態(tài)語(yǔ)言才有的duck typing特性， 而仍然能在compile中捕捉明顯的錯(cuò)誤。

5. OO

Go語(yǔ)言本質(zhì)上不是面向?qū)ο笳Z(yǔ)言，它還是過(guò)程化的。但是，在Go語(yǔ)言中， 你可以很輕易的做大部分你在別的OO語(yǔ)言中能做的事，用更簡(jiǎn)單清晰的邏輯。是的，在這里，不需要class，仍然可以繼承，仍然可以多態(tài)，但是速度卻快得多。因?yàn)楸举|(zhì)上，OO在Go語(yǔ)言中，就是普通的struct操作。

6. Goroutine

這個(gè)幾乎算是Go語(yǔ)言的招牌特性之一了，我也不想多提。如果你完全不了解Goroutine，那么你只需要知道，這玩意是超級(jí)輕量級(jí)的類似線程的東西，但通過(guò)它，你不需要復(fù)雜的線程操作鎖操作，不需要care調(diào)度，就能玩轉(zhuǎn)基本的并行程序。在Go語(yǔ)言里，觸發(fā)一個(gè)routine和erlang spawn一樣簡(jiǎn)單。基本上要掌握Go語(yǔ)言，以Goroutine和channel為核心的內(nèi)存模型是必須要懂的。不過(guò)請(qǐng)放心，真的非常簡(jiǎn)單。

7. 更多現(xiàn)代的特性

和C比較，Go語(yǔ)言完全就是一門現(xiàn)代化語(yǔ)言，原生支持的Unicode, garbage collection, Closures(是的，和functional programming language類似), function是first class object，等等等等。

看到這里，你可能會(huì)發(fā)現(xiàn)，我用了很多輕易，簡(jiǎn)單，快速之類的形容詞來(lái)形容Go語(yǔ)言的特點(diǎn)。我想說(shuō)的是，一點(diǎn)都不夸張，連Go語(yǔ)言的入門學(xué)習(xí)到提高，都比別的語(yǔ)言門檻低太多太多。在大部分人都有C的背景的時(shí)代，對(duì)于Go語(yǔ)言，從入門到能夠上手做項(xiàng)目，最多不過(guò)半個(gè)月。Go語(yǔ)言給人的感覺(jué)就是太直接了，什么都直接，讀源代碼直接，寫自己的代碼也直接。

網(wǎng)站題目：go語(yǔ)言弱引用,go語(yǔ)言優(yōu)化
分享鏈接：http://chinadenli.net/article16/hohedg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、動(dòng)態(tài)網(wǎng)站、全網(wǎng)營(yíng)銷推廣、Google、企業(yè)網(wǎng)站制作、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)