調(diào)試Go語(yǔ)言的核心轉(zhuǎn)儲(chǔ)（Core Dumps）

英文原文鏈接【Go, the unwritten parts】 發(fā)表于2017/05/22 作者JBD是Go語(yǔ)言開發(fā)小組成員

成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供札達(dá)網(wǎng)站建設(shè)、札達(dá)做網(wǎng)站、札達(dá)網(wǎng)站設(shè)計(jì)、札達(dá)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、札達(dá)企業(yè)網(wǎng)站模板建站服務(wù)，十余年札達(dá)做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

檢查程序的執(zhí)行路徑和當(dāng)前狀態(tài)是非常有用的調(diào)試手段。核心文件（core file）包含了一個(gè)運(yùn)行進(jìn)程的內(nèi)存轉(zhuǎn)儲(chǔ)和狀態(tài)。它主要是用來(lái)作為事后調(diào)試程序用的。它也可以被用來(lái)查看一個(gè)運(yùn)行中的程序的狀態(tài)。這兩個(gè)使用場(chǎng)景使調(diào)試文件轉(zhuǎn)儲(chǔ)成為一個(gè)非常好的診斷手段。我們可以用這個(gè)方法來(lái)做事后診斷和分析線上的服務(wù)（production services）。

在這篇文章中，我們將用一個(gè)簡(jiǎn)單的hello world網(wǎng)站服務(wù)作為例子。在現(xiàn)實(shí)中，我們的程序很容易就會(huì)變得很復(fù)雜。分析核心轉(zhuǎn)儲(chǔ)給我們提供了一個(gè)機(jī)會(huì)去重構(gòu)程序的狀態(tài)并且查看只有在某些條件／環(huán)境下才能重現(xiàn)的案例。

作者注 : 這個(gè)調(diào)試流程只在Linux上可行。我不是很確定它是否在其它Unixs系統(tǒng)上工作。macOS對(duì)此還不支持。Windows現(xiàn)在也不支持。

在我們開始前，需要確保核心轉(zhuǎn)儲(chǔ)的ulimit設(shè)置在合適的范圍。它的缺省值是0，意味著最大的核心文件大小是0。我通常在我的開發(fā)機(jī)器上將它設(shè)置成unlimited。使用以下命令：

接下來(lái)，你需要在你的機(jī)器上安裝 delve 。

下面我們使用的 main.go 文件。它注冊(cè)了一個(gè)簡(jiǎn)單的請(qǐng)求處理函數(shù)（handler）然后啟動(dòng)了HTTP服務(wù)。

讓我們編譯并生產(chǎn)二進(jìn)制文件。

現(xiàn)在讓我們假設(shè)，這個(gè)服務(wù)器出了些問(wèn)題，但是我們并不是很確定問(wèn)題的根源。你可能已經(jīng)在程序里加了很多輔助信息，但還是無(wú)法從這些調(diào)試信息中找出線索。通常在這種情況下，當(dāng)前進(jìn)程的快照會(huì)非常有用。我們可以用這個(gè)快照深入查看程序的當(dāng)前狀態(tài)。

有幾個(gè)方式來(lái)獲取核心文件。你可能已經(jīng)熟悉了奔潰轉(zhuǎn)儲(chǔ)（crash dumps）。它們是在一個(gè)程序奔潰的時(shí)候?qū)懭氪疟P的核心轉(zhuǎn)儲(chǔ)。Go語(yǔ)言在缺省設(shè)置下不會(huì)生產(chǎn)奔潰轉(zhuǎn)儲(chǔ)。但是當(dāng)你把 GOTRACEBACK 環(huán)境變量設(shè)置成“crash”，你就可以用 Ctrl+backslash 才觸發(fā)奔潰轉(zhuǎn)儲(chǔ)。如下圖所示：

上面的操作會(huì)使程序終止，將堆棧跟蹤（stack trace）打印出來(lái)，并把核心轉(zhuǎn)儲(chǔ)文件寫入磁盤。

另外個(gè)方法可以從一個(gè)運(yùn)行的程序獲得核心轉(zhuǎn)儲(chǔ)而不需要終止相應(yīng)的進(jìn)程。 gcore 可以生產(chǎn)核心文件而無(wú)需使運(yùn)行中的程序退出。

根據(jù)上面的操作，我們獲得了轉(zhuǎn)儲(chǔ)而沒(méi)有終止對(duì)應(yīng)的進(jìn)程。下一步就是把核心文件加載進(jìn)delve并開始分析。

差不多就這些。delve的常用操作都可以使用。你可以backtrace，list，查看變量等等。有些功能不可用因?yàn)槲覀兪褂玫暮诵霓D(zhuǎn)儲(chǔ)是一個(gè)快照而不是正在運(yùn)行的進(jìn)程。但是程序執(zhí)行路徑和狀態(tài)全部可以訪問(wèn)。

go語(yǔ)言中怎么給結(jié)構(gòu)體分配內(nèi)存

隨便怎么寫啊，共享內(nèi)存獲取到不是給你一個(gè)內(nèi)存地址，這里稱之為des么，直接通過(guò)des地址訪問(wèn)啊，比如你要寫2個(gè)結(jié)構(gòu)體進(jìn)去，第一個(gè)memcpy寫到des,第二個(gè)可以（memcpy到des+結(jié)構(gòu)體大小）的地址指向的內(nèi)存上，

golang-指針類型

tips： *號(hào)，可以指向指針類型內(nèi)存地址上的值，號(hào)，可以獲取值類型的內(nèi)存地址

每一個(gè)變量都有內(nèi)存地址，可以通過(guò)變量來(lái)操作內(nèi)存地址中的值，即內(nèi)存的大小

go語(yǔ)言中獲取變量的內(nèi)存地址方法：通過(guò) 符號(hào)可以獲取變量的地址

定義：普通變量存儲(chǔ)的是對(duì)應(yīng)類型的值，這些類型就叫值類型

變量b，在內(nèi)存中的地址為：0x1040a124，在這個(gè)內(nèi)存地址上存儲(chǔ)的值為：156

定義：指針類型的變量存儲(chǔ)的是?個(gè)地址，所以?叫指針類型或引?類型

b 是值類型，它指向的是內(nèi)存地址上的值

a是指針類型，它指向的是b的內(nèi)存地址

指針類型定義，語(yǔ)法： var 變量名 *類型

指針類型在定義完成后，默認(rèn)為空地址，即空指針（nil）

在定義好指針變量后，可以通過(guò)***** 符號(hào)可以獲取指針變量指向的變量

在這里的 *a 等價(jià)于 b，通過(guò)修改 *a ，最終修改的是值類型b的值

這里a,d是值類型，b,c是指針類型

d就相當(dāng)于把a(bǔ)內(nèi)存地址上值，在內(nèi)存中從新開辟了一塊空間存儲(chǔ)，d和a互不影響

b,c相當(dāng)于指向了a的內(nèi)存地址，當(dāng)使用*號(hào)引用出內(nèi)存地址上的變量上，修改值得，a的值也會(huì)跟著改變

Go語(yǔ)言中恰到好處的內(nèi)存對(duì)齊

在開始之前，希望你計(jì)算一下 Part1 共占用的大小是多少呢？

輸出結(jié)果：

這么一算， Part1 這一個(gè)結(jié)構(gòu)體的占用內(nèi)存大小為 1+4+1+8+1 = 15 個(gè)字節(jié)。相信有的小伙伴是這么算的，看上去也沒(méi)什么毛病

真實(shí)情況是怎么樣的呢？我們實(shí)際調(diào)用看看，如下：

輸出結(jié)果：

最終輸出為占用 32 個(gè)字節(jié)。這與前面所預(yù)期的結(jié)果完全不一樣。這充分地說(shuō)明了先前的計(jì)算方式是錯(cuò)誤的。為什么呢？

在這里要提到 “內(nèi)存對(duì)齊” 這一概念，才能夠用正確的姿勢(shì)去計(jì)算，接下來(lái)我們?cè)敿?xì)的講講它是什么

有的小伙伴可能會(huì)認(rèn)為內(nèi)存讀取，就是一個(gè)簡(jiǎn)單的字節(jié)數(shù)組擺放

上圖表示一個(gè)坑一個(gè)蘿卜的內(nèi)存讀取方式。但實(shí)際上 CPU 并不會(huì)以一個(gè)一個(gè)字節(jié)去讀取和寫入內(nèi)存。相反 CPU 讀取內(nèi)存是 一塊一塊讀取 的，塊的大小可以為 2、4、6、8、16 字節(jié)等大小。塊大小我們稱其為 內(nèi)存訪問(wèn)粒度 。如下圖：

在樣例中，假設(shè)訪問(wèn)粒度為 4。 CPU 是以每 4 個(gè)字節(jié)大小的訪問(wèn)粒度去讀取和寫入內(nèi)存的。這才是正確的姿勢(shì)

另外作為一個(gè)工程師，你也很有必要學(xué)習(xí)這塊知識(shí)點(diǎn)哦 :)

在上圖中，假設(shè)從 Index 1 開始讀取，將會(huì)出現(xiàn)很崩潰的問(wèn)題。因?yàn)樗膬?nèi)存訪問(wèn)邊界是不對(duì)齊的。因此 CPU 會(huì)做一些額外的處理工作。如下：

從上述流程可得出，不做 “內(nèi)存對(duì)齊” 是一件有點(diǎn) "麻煩" 的事。因?yàn)樗鼤?huì)增加許多耗費(fèi)時(shí)間的動(dòng)作

而假設(shè)做了內(nèi)存對(duì)齊，從 Index 0 開始讀取 4 個(gè)字節(jié)，只需要讀取一次，也不需要額外的運(yùn)算。這顯然高效很多，是標(biāo)準(zhǔn)的 空間換時(shí)間 做法

在不同平臺(tái)上的編譯器都有自己默認(rèn)的 “對(duì)齊系數(shù)”，可通過(guò)預(yù)編譯命令 #pragma pack(n) 進(jìn)行變更，n 就是代指 “對(duì)齊系數(shù)”。一般來(lái)講，我們常用的平臺(tái)的系數(shù)如下：

另外要注意，不同硬件平臺(tái)占用的大小和對(duì)齊值都可能是不一樣的。因此本文的值不是唯一的，調(diào)試的時(shí)候需按本機(jī)的實(shí)際情況考慮

輸出結(jié)果：

在 Go 中可以調(diào)用 unsafe.Alignof 來(lái)返回相應(yīng)類型的對(duì)齊系數(shù)。通過(guò)觀察輸出結(jié)果，可得知基本都是 2^n ，最大也不會(huì)超過(guò) 8。這是因?yàn)槲沂痔幔?4 位）編譯器默認(rèn)對(duì)齊系數(shù)是 8，因此最大值不會(huì)超過(guò)這個(gè)數(shù)

在上小節(jié)中，提到了結(jié)構(gòu)體中的成員變量要做字節(jié)對(duì)齊。那么想當(dāng)然身為最終結(jié)果的結(jié)構(gòu)體，也是需要做字節(jié)對(duì)齊的

接下來(lái)我們一起分析一下，“它” 到底經(jīng)歷了些什么，影響了 “預(yù)期” 結(jié)果

在每個(gè)成員變量進(jìn)行對(duì)齊后，根據(jù)規(guī)則 2，整個(gè)結(jié)構(gòu)體本身也要進(jìn)行字節(jié)對(duì)齊，因?yàn)榭砂l(fā)現(xiàn)它可能并不是 2^n ，不是偶數(shù)倍。顯然不符合對(duì)齊的規(guī)則

根據(jù)規(guī)則 2，可得出對(duì)齊值為 8。現(xiàn)在的偏移量為 25，不是 8 的整倍數(shù)。因此確定偏移量為 32。對(duì)結(jié)構(gòu)體進(jìn)行對(duì)齊

Part1 內(nèi)存布局：axxx|bbbb|cxxx|xxxx|dddd|dddd|exxx|xxxx

通過(guò)本節(jié)的分析，可得知先前的 “推算” 為什么錯(cuò)誤？

是因?yàn)閷?shí)際內(nèi)存管理并非 “一個(gè)蘿卜一個(gè)坑” 的思想。而是一塊一塊。通過(guò)空間換時(shí)間（效率）的思想來(lái)完成這塊讀取、寫入。另外也需要兼顧不同平臺(tái)的內(nèi)存操作情況

在上一小節(jié)，可得知根據(jù)成員變量的類型不同，其結(jié)構(gòu)體的內(nèi)存會(huì)產(chǎn)生對(duì)齊等動(dòng)作。那假設(shè)字段順序不同，會(huì)不會(huì)有什么變化呢？我們一起來(lái)試試吧 :-)

輸出結(jié)果：

通過(guò)結(jié)果可以驚喜的發(fā)現(xiàn)，只是 “簡(jiǎn)單” 對(duì)成員變量的字段順序進(jìn)行改變，就改變了結(jié)構(gòu)體占用大小

接下來(lái)我們一起剖析一下 Part2 ，看看它的內(nèi)部到底和上一位之間有什么區(qū)別，才導(dǎo)致了這樣的結(jié)果？

符合規(guī)則 2，不需要額外對(duì)齊

Part2 內(nèi)存布局：ecax|bbbb|dddd|dddd

通過(guò)對(duì)比 Part1 和 Part2 的內(nèi)存布局，你會(huì)發(fā)現(xiàn)兩者有很大的不同。如下：

仔細(xì)一看， Part1 存在許多 Padding。顯然它占據(jù)了不少空間，那么 Padding 是怎么出現(xiàn)的呢？

通過(guò)本文的介紹，可得知是由于不同類型導(dǎo)致需要進(jìn)行字節(jié)對(duì)齊，以此保證內(nèi)存的訪問(wèn)邊界

那么也不難理解，為什么 調(diào)整結(jié)構(gòu)體內(nèi)成員變量的字段順序 就能達(dá)到縮小結(jié)構(gòu)體占用大小的疑問(wèn)了，是因?yàn)榍擅畹販p少了 Padding 的存在。讓它們更 “緊湊” 了。這一點(diǎn)對(duì)于加深 Go 的內(nèi)存布局印象和大對(duì)象的優(yōu)化非常有幫

go語(yǔ)言循環(huán)隊(duì)列的實(shí)現(xiàn)

隊(duì)列的概念在 順序隊(duì)列 中，而使用循環(huán)隊(duì)列的目的主要是規(guī)避假溢出造成的空間浪費(fèi)，在使用循環(huán)隊(duì)列處理假溢出時(shí)，主要有三種解決方案

本文提供后兩種解決方案。

順序隊(duì)和循環(huán)隊(duì)列是一種特殊的線性表，與順序棧類似，都是使用一組地址連續(xù)的存儲(chǔ)單元依次存放自隊(duì)頭到隊(duì)尾的數(shù)據(jù)元素，同時(shí)附設(shè)隊(duì)頭(front)和隊(duì)尾(rear)兩個(gè)指針，但我們要明白一點(diǎn)，這個(gè)指針并不是指針變量，而是用來(lái)表示數(shù)組當(dāng)中元素下標(biāo)的位置。

本文使用切片來(lái)完成的循環(huán)隊(duì)列，由于一開始使用三個(gè)參數(shù)的make關(guān)鍵字創(chuàng)建切片，在輸出的結(jié)果中不包含nil值(看起來(lái)很舒服)，而且在驗(yàn)證的過(guò)程中發(fā)現(xiàn)使用append()函數(shù)時(shí)切片內(nèi)置的cap會(huì)發(fā)生變化，在消除了種種障礙后得到了一個(gè)四不像的循環(huán)隊(duì)列，即設(shè)置的指針是順序隊(duì)列的指針，但實(shí)際上進(jìn)行的操作是順序隊(duì)列的操作。最后是對(duì)make()函數(shù)和append()函數(shù)的一些使用體驗(yàn)和小結(jié)，隊(duì)列的應(yīng)用放在鏈隊(duì)好了。

官方描述(片段)

即切片是一個(gè)抽象層，底層是對(duì)數(shù)組的引用。

當(dāng)我們使用

構(gòu)建出來(lái)的切片的每個(gè)位置的值都被賦為interface類型的初始值nil，但是nil值也是有大小的。

而使用

來(lái)進(jìn)行初始化時(shí)，雖然生成的切片中不包含nil值，但是無(wú)法通過(guò)設(shè)置的指針變量來(lái)完成入隊(duì)和出隊(duì)的操作，只能使用append()函數(shù)來(lái)進(jìn)行操作

在go語(yǔ)言中，切片是一片連續(xù)的內(nèi)存空間加上長(zhǎng)度與容量的標(biāo)識(shí)，比數(shù)組更為常用。使用 append 關(guān)鍵字向切片中追加元素也是常見的切片操作

正是基于此，在使用go語(yǔ)言完成循環(huán)隊(duì)列時(shí)，首先想到的就是使用make(type, len, cap)關(guān)鍵字方式完成切片初始化，然后使用append()函數(shù)來(lái)操作該切片，但這一方式出現(xiàn)了很多問(wèn)題。在使用append()函數(shù)時(shí)，切片的cap可能會(huì)發(fā)生變化，用不好就會(huì)發(fā)生擴(kuò)容或收縮。最終造成的結(jié)果是一個(gè)四不像的結(jié)果，入隊(duì)和出隊(duì)操作變得與指針變量無(wú)關(guān)，失去了作為循環(huán)隊(duì)列的意義，用在順序隊(duì)列還算合適。

參考博客：

Go語(yǔ)言中的Nil

Golang之nil

Go 語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn)

go語(yǔ)言string之Buffer與Builder

操作字符串離不開字符串的拼接，但是Go中string是只讀類型，大量字符串的拼接會(huì)造成性能問(wèn)題。

拼接字符串，無(wú)外乎四種方式，采用“+”，“fmt.Sprintf()”,"bytes.Buffer","strings.Builder"

上面我們創(chuàng)建10萬(wàn)字符串拼接的測(cè)試，可以發(fā)現(xiàn)"bytes.Buffer","strings.Builder"的性能最好，約是“+”的1000倍級(jí)別。

這是由于string是不可修改的，所以在使用“+”進(jìn)行拼接字符串，每次都會(huì)產(chǎn)生申請(qǐng)空間，拼接，復(fù)制等操作，數(shù)據(jù)量大的情況下非常消耗資源和性能。而采用Buffer等方式，都是預(yù)先計(jì)算拼接字符串?dāng)?shù)組的總長(zhǎng)度（如果可以知道長(zhǎng)度），申請(qǐng)空間，底層是slice數(shù)組，可以以append的形式向后進(jìn)行追加。最后在轉(zhuǎn)換為字符串。這申請(qǐng)了不斷申請(qǐng)空間的操作，也減少了空間的使用和拷貝的次數(shù)，自然性能也高不少。

bytes.buffer是一個(gè)緩沖byte類型的緩沖器存放著都是byte

是一個(gè)變長(zhǎng)的 buffer，具有 Read 和Write 方法。 Buffer 的 零值 是一個(gè) 空的 buffer，但是可以使用，底層就是一個(gè) []byte， 字節(jié)切片。

向Buffer中寫數(shù)據(jù)，可以看出Buffer中有個(gè)Grow函數(shù)用于對(duì)切片進(jìn)行擴(kuò)容。

從Buffer中讀取數(shù)據(jù)

strings.Builder的方法和bytes.Buffer的方法的命名幾乎一致。

但實(shí)現(xiàn)并不一致，Builder的Write方法直接將字符拼接slice數(shù)組后。

其沒(méi)有提供read方法，但提供了strings.Reader方式

Reader 結(jié)構(gòu):

Buffer:

Builder:

可以看出Buffer和Builder底層都是采用[]byte數(shù)組進(jìn)行裝載數(shù)據(jù)。

先來(lái)說(shuō)說(shuō)Buffer:

創(chuàng)建好Buffer是一個(gè)empty的，off 用于指向讀寫的尾部。

在寫的時(shí)候，先判斷當(dāng)前寫入字符串長(zhǎng)度是否大于Buffer的容量，如果大于就調(diào)用grow進(jìn)行擴(kuò)容，擴(kuò)容申請(qǐng)的長(zhǎng)度為當(dāng)前寫入字符串的長(zhǎng)度。如果當(dāng)前寫入字符串長(zhǎng)度小于最小字節(jié)長(zhǎng)度64，直接創(chuàng)建64長(zhǎng)度的[]byte數(shù)組。如果申請(qǐng)的長(zhǎng)度小于二分之一總?cè)萘繙p去當(dāng)前字符總長(zhǎng)度，說(shuō)明存在很大一部分被使用但已讀，可以將未讀的數(shù)據(jù)滑動(dòng)到數(shù)組頭。如果容量不足，擴(kuò)展2*c + n 。

其String()方法就是將字節(jié)數(shù)組強(qiáng)轉(zhuǎn)為string

Builder是如何實(shí)現(xiàn)的。

Builder采用append的方式向字節(jié)數(shù)組后添加字符串。

從上面可以看出，[]byte的內(nèi)存大小也是以倍數(shù)進(jìn)行申請(qǐng)的，初始大小為 0，第一次為大于當(dāng)前申請(qǐng)的最大 2 的指數(shù)，不夠進(jìn)行翻倍.

可以看出如果舊容量小于1024進(jìn)行翻倍，否則擴(kuò)展四分之一。（2048 byte 后，申請(qǐng)策略的調(diào)整）。

其次String()方法與Buffer的string方法也有明顯區(qū)別。Buffer的string是一種強(qiáng)轉(zhuǎn)，我們知道在強(qiáng)轉(zhuǎn)的時(shí)候是需要進(jìn)行申請(qǐng)空間，并拷貝的。而Builder只是指針的轉(zhuǎn)換。

這里我們解析一下 *(*string)(unsafe.Pointer(b.buf)) 這個(gè)語(yǔ)句的意思。

先來(lái)了解下unsafe.Pointer 的用法。

也就是說(shuō)，unsafe.Pointer 可以轉(zhuǎn)換為任意類型，那么意味著，通過(guò)unsafe.Pointer媒介，程序繞過(guò)類型系統(tǒng)，進(jìn)行地址轉(zhuǎn)換而不是拷貝。

即*A = Pointer = *B

就像上面例子一樣，將字節(jié)數(shù)組轉(zhuǎn)為unsafe.Pointer類型，再轉(zhuǎn)為string類型，s和b中內(nèi)容一樣，修改b,s也變了，說(shuō)明b和s是同一個(gè)地址。但是對(duì)s重新賦值后，意味著s的地址指向了“WORLD”,它們所使用的內(nèi)存空間不同了，所以s改變后，b并不會(huì)改變。

所以他們的區(qū)別就在于 bytes.Buffer 是重新申請(qǐng)了一塊空間，存放生成的string變量， 而strings.Builder直接將底層的[]byte轉(zhuǎn)換成了string類型返回了回來(lái)，去掉了申請(qǐng)空間的操作。

網(wǎng)頁(yè)題目：go語(yǔ)言調(diào)整內(nèi)存大小,go的內(nèi)存管理
網(wǎng)站URL：http://chinadenli.net/article13/dsedggs.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、網(wǎng)站設(shè)計(jì)、云服務(wù)器、標(biāo)簽優(yōu)化、微信小程序、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)