go語言string之Buffer與Builder

操作字符串離不開字符串的拼接，但是Go中string是只讀類型，大量字符串的拼接會造成性能問題。

創(chuàng)新互聯(lián)建站專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、富蘊(yùn)網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為富蘊(yùn)等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

拼接字符串，無外乎四種方式，采用“+”，“fmt.Sprintf()”,"bytes.Buffer","strings.Builder"

上面我們創(chuàng)建10萬字符串拼接的測試，可以發(fā)現(xiàn)"bytes.Buffer","strings.Builder"的性能最好，約是“+”的1000倍級別。

這是由于string是不可修改的，所以在使用“+”進(jìn)行拼接字符串，每次都會產(chǎn)生申請空間，拼接，復(fù)制等操作，數(shù)據(jù)量大的情況下非常消耗資源和性能。而采用Buffer等方式，都是預(yù)先計(jì)算拼接字符串?dāng)?shù)組的總長度（如果可以知道長度），申請空間，底層是slice數(shù)組，可以以append的形式向后進(jìn)行追加。最后在轉(zhuǎn)換為字符串。這申請了不斷申請空間的操作，也減少了空間的使用和拷貝的次數(shù)，自然性能也高不少。

bytes.buffer是一個(gè)緩沖byte類型的緩沖器存放著都是byte

是一個(gè)變長的 buffer，具有 Read 和Write 方法。 Buffer 的 零值 是一個(gè) 空的 buffer，但是可以使用，底層就是一個(gè) []byte， 字節(jié)切片。

向Buffer中寫數(shù)據(jù)，可以看出Buffer中有個(gè)Grow函數(shù)用于對切片進(jìn)行擴(kuò)容。

從Buffer中讀取數(shù)據(jù)

strings.Builder的方法和bytes.Buffer的方法的命名幾乎一致。

但實(shí)現(xiàn)并不一致，Builder的Write方法直接將字符拼接slice數(shù)組后。

其沒有提供read方法，但提供了strings.Reader方式

Reader 結(jié)構(gòu):

Buffer:

Builder:

可以看出Buffer和Builder底層都是采用[]byte數(shù)組進(jìn)行裝載數(shù)據(jù)。

先來說說Buffer:

創(chuàng)建好Buffer是一個(gè)empty的，off 用于指向讀寫的尾部。

在寫的時(shí)候，先判斷當(dāng)前寫入字符串長度是否大于Buffer的容量，如果大于就調(diào)用grow進(jìn)行擴(kuò)容，擴(kuò)容申請的長度為當(dāng)前寫入字符串的長度。如果當(dāng)前寫入字符串長度小于最小字節(jié)長度64，直接創(chuàng)建64長度的[]byte數(shù)組。如果申請的長度小于二分之一總?cè)萘繙p去當(dāng)前字符總長度，說明存在很大一部分被使用但已讀，可以將未讀的數(shù)據(jù)滑動到數(shù)組頭。如果容量不足，擴(kuò)展2*c + n 。

其String()方法就是將字節(jié)數(shù)組強(qiáng)轉(zhuǎn)為string

Builder是如何實(shí)現(xiàn)的。

Builder采用append的方式向字節(jié)數(shù)組后添加字符串。

從上面可以看出，[]byte的內(nèi)存大小也是以倍數(shù)進(jìn)行申請的，初始大小為 0，第一次為大于當(dāng)前申請的最大 2 的指數(shù)，不夠進(jìn)行翻倍.

可以看出如果舊容量小于1024進(jìn)行翻倍，否則擴(kuò)展四分之一。（2048 byte 后，申請策略的調(diào)整）。

其次String()方法與Buffer的string方法也有明顯區(qū)別。Buffer的string是一種強(qiáng)轉(zhuǎn)，我們知道在強(qiáng)轉(zhuǎn)的時(shí)候是需要進(jìn)行申請空間，并拷貝的。而Builder只是指針的轉(zhuǎn)換。

這里我們解析一下 *(*string)(unsafe.Pointer(b.buf)) 這個(gè)語句的意思。

先來了解下unsafe.Pointer 的用法。

也就是說，unsafe.Pointer 可以轉(zhuǎn)換為任意類型，那么意味著，通過unsafe.Pointer媒介，程序繞過類型系統(tǒng)，進(jìn)行地址轉(zhuǎn)換而不是拷貝。

即*A = Pointer = *B

就像上面例子一樣，將字節(jié)數(shù)組轉(zhuǎn)為unsafe.Pointer類型，再轉(zhuǎn)為string類型，s和b中內(nèi)容一樣，修改b,s也變了，說明b和s是同一個(gè)地址。但是對s重新賦值后，意味著s的地址指向了“WORLD”,它們所使用的內(nèi)存空間不同了，所以s改變后，b并不會改變。

所以他們的區(qū)別就在于 bytes.Buffer 是重新申請了一塊空間，存放生成的string變量， 而strings.Builder直接將底層的[]byte轉(zhuǎn)換成了string類型返回了回來，去掉了申請空間的操作。

GO語言商業(yè)案例（十八）：stream

切換到新語言始終是一大步，尤其是當(dāng)您的團(tuán)隊(duì)成員只有一個(gè)時(shí)有該語言的先前經(jīng)驗(yàn)。現(xiàn)在，Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉(zhuǎn)向 Go 的一些原因。

Go 非常快。性能類似于 Java 或 C++。對于用例，Go 通常比 Python 快 40 倍。

對于許多應(yīng)用程序來說，編程語言只是應(yīng)用程序和數(shù)據(jù)庫之間的粘合劑。語言本身的性能通常并不重要。然而，Stream 是一個(gè)API 提供商，為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來，我們一直在優(yōu)化 Cassandra、PostgreSQL、Redis 等，但最終，您會達(dá)到所使用語言的極限。Python 是一門很棒的語言，但對于序列化/反序列化、排名和聚合等用例，它的性能相當(dāng)緩慢。我們經(jīng)常遇到性能問題，Cassandra 需要 1 毫秒來檢索數(shù)據(jù)，而 Python 會花費(fèi)接下來的 10 毫秒將其轉(zhuǎn)換為對象。

看看我如何開始 Go 教程中的一小段 Go 代碼。（這是一個(gè)很棒的教程，也是學(xué)習(xí) Go 的一個(gè)很好的起點(diǎn)。）

如果您是 Go 新手，那么在閱讀那個(gè)小代碼片段時(shí)不會有太多讓您感到驚訝的事情。它展示了多個(gè)賦值、數(shù)據(jù)結(jié)構(gòu)、指針、格式和一個(gè)內(nèi)置的 HTTP 庫。當(dāng)我第一次開始編程時(shí)，我一直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時(shí)獲得相當(dāng)?shù)膭?chuàng)意。例如，您可以：

這些功能玩起來很有趣，但是，正如大多數(shù)程序員會同意的那樣，在閱讀別人的作品時(shí)，它們通常會使代碼更難理解。Go 迫使你堅(jiān)持基礎(chǔ)。這使得閱讀任何人的代碼并立即了解發(fā)生了什么變得非常容易。 注意：當(dāng)然，它實(shí)際上有多“容易”取決于您的用例。如果你想創(chuàng)建一個(gè)基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。

作為一門語言，Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點(diǎn)是創(chuàng)建一種非常快速且易于使用的簡單語言。它唯一具有創(chuàng)新性的領(lǐng)域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項(xiàng)創(chuàng)新更多是對舊思想的一種新方法。）Goroutines 是 Go 的輕量級線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創(chuàng)建非常便宜，并且只需要幾 KB 的額外內(nèi)存。因?yàn)?Goroutine 非常輕量，所以有可能同時(shí)運(yùn)行數(shù)百甚至數(shù)千個(gè)。您可以使用通道在 goroutine 之間進(jìn)行通信。Go 運(yùn)行時(shí)處理所有復(fù)雜性。goroutines 和基于通道的并發(fā)方法使得使用所有可用的 CPU 內(nèi)核和處理并發(fā) IO 變得非常容易——所有這些都不會使開發(fā)復(fù)雜化。與 Python/Java 相比，在 goroutine 上運(yùn)行函數(shù)需要最少的樣板代碼。您只需在函數(shù)調(diào)用前加上關(guān)鍵字“go”：

Go 的并發(fā)方法很容易使用。與 Node 相比，這是一種有趣的方法，開發(fā)人員必須密切關(guān)注異步代碼的處理方式。Go 中并發(fā)的另一個(gè)重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務(wù)編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比，Go 的快速編譯時(shí)間是一項(xiàng)重大的生產(chǎn)力勝利。我喜歡在程序編譯的時(shí)候摸魚，但在我還記得代碼應(yīng)該做什么的同時(shí)完成事情會更好。

首先，讓我們從顯而易見的開始：與 C++ 和 Java 等舊語言相比，Go 開發(fā)人員的數(shù)量并不多。根據(jù)StackOverflow的數(shù)據(jù)， 38% 的開發(fā)人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數(shù)據(jù)顯示了類似的趨勢：Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛，但不如 Java 和 C++ 流行。幸運(yùn)的是，Go 是一種非常簡單易學(xué)的語言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內(nèi)置的并發(fā)管理與“goroutines”和通道。（對于純粹主義者來說：Go 并不是第一種實(shí)現(xiàn)這些概念的語言，只是第一種使它們流行起來的語言。）任何加入團(tuán)隊(duì)的 Python、Elixir、C++、Scala 或 Java 開發(fā)人員都可以在一個(gè)月內(nèi)在 Go 上發(fā)揮作用，因?yàn)樗暮唵涡浴Ｅc許多其他語言相比，我們發(fā)現(xiàn)組建 Go 開發(fā)人員團(tuán)隊(duì)更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態(tài)系統(tǒng)中招聘人員，這是一項(xiàng)重要的優(yōu)勢。

對于我們這樣規(guī)模的團(tuán)隊(duì)（約 20 人）來說，生態(tài)系統(tǒng)很重要。如果您必須重新發(fā)明每一個(gè)小功能，您根本無法為您的客戶創(chuàng)造價(jià)值。Go 對我們使用的工具有很好的支持。實(shí)體庫已經(jīng)可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務(wù)調(diào)度、表達(dá)式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比，Go 的生態(tài)系統(tǒng)是一個(gè)重大勝利。它當(dāng)然不如 Java、Python 或 Node 之類的語言好，但它很可靠，而且對于許多基本需求，你會發(fā)現(xiàn)已經(jīng)有高質(zhì)量的包可用。

Gofmt 是一個(gè)很棒的命令行實(shí)用程序，內(nèi)置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數(shù)人并不真正喜歡爭論制表符與空格。格式的一致性很重要，但實(shí)際的格式標(biāo)準(zhǔn)并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協(xié)議緩沖區(qū)和 gRPC 具有一流的支持。這兩個(gè)工具非常適合構(gòu)建需要通過 RPC 通信的微服務(wù)。您只需要編寫一個(gè)清單，在其中定義可以進(jìn)行的 RPC 調(diào)用以及它們采用的參數(shù)。然后從這個(gè)清單中自動生成服務(wù)器和客戶端代碼。生成的代碼既快速又具有非常小的網(wǎng)絡(luò)占用空間并且易于使用。從同一個(gè)清單中，您甚至可以為許多不同的語言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內(nèi)部流量不再有模棱兩可的 REST 端點(diǎn)，您每次都必須編寫幾乎相同的客戶端和服務(wù)器代碼。.

Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導(dǎo)框架。這是 Go 社區(qū)內(nèi)激烈爭論的話題，因?yàn)樵S多人主張你不應(yīng)該一開始就使用框架。我完全同意這對于某些用例是正確的。但是，如果有人想構(gòu)建一個(gè)簡單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對于 Stream 的用例，我們更喜歡不使用框架。然而，對于許多希望提供簡單 CRUD API 的新項(xiàng)目來說，缺乏主導(dǎo)框架將是一個(gè)嚴(yán)重的劣勢。

Go 通過簡單地從函數(shù)返回錯誤并期望調(diào)用代碼來處理錯誤（或?qū)⑵浞祷氐秸{(diào)用堆棧）來處理錯誤。雖然這種方法有效，但很容易失去問題的范圍，以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另一個(gè)問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態(tài)分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好，但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認(rèn)情況下，它無法指定特定版本的依賴項(xiàng)，也無法創(chuàng)建可重現(xiàn)的構(gòu)建。Python、Node 和 Ruby 都有更好的包管理系統(tǒng)。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項(xiàng)，以允許指定和固定版本。除此之外，我們還貢獻(xiàn)了一個(gè)名為的開源工具VirtualGo，它可以更輕松地處理用 Go 編寫的多個(gè)項(xiàng)目。

我們進(jìn)行的一個(gè)有趣的實(shí)驗(yàn)是在 Python 中使用我們的排名提要功能并在 Go 中重寫它。看看這個(gè)排名方法的例子：

Python 和 Go 代碼都需要執(zhí)行以下操作來支持這種排名方法：

開發(fā) Python 版本的排名代碼大約花了 3 天時(shí)間。這包括編寫代碼、單元測試和文檔。接下來，我們花了大約 2 周的時(shí)間優(yōu)化代碼。其中一項(xiàng)優(yōu)化是將分?jǐn)?shù)表達(dá)式 (simple_gauss(time)*popularity) 轉(zhuǎn)換為抽象語法樹. 我們還實(shí)現(xiàn)了緩存邏輯，可以在未來的特定時(shí)間預(yù)先計(jì)算分?jǐn)?shù)。相比之下，開發(fā)此代碼的 Go 版本大約需要 4 天時(shí)間。性能不需要任何進(jìn)一步的優(yōu)化。因此，雖然 Python 的最初開發(fā)速度更快，但基于 Go 的版本最終需要我們團(tuán)隊(duì)的工作量大大減少。另外一個(gè)好處是，Go 代碼的執(zhí)行速度比我們高度優(yōu)化的 Python 代碼快大約 40 倍。現(xiàn)在，這只是我們通過切換到 Go 體驗(yàn)到的性能提升的一個(gè)示例。

與 Python 相比，我們系統(tǒng)的其他一些組件在 Go 中構(gòu)建所需的時(shí)間要多得多。作為一個(gè)總體趨勢，我們看到 開發(fā) Go 代碼需要更多的努力。但是，我們花更少的時(shí)間 優(yōu)化 代碼以提高性能。

我們評估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機(jī)之上。這是一種迷人的語言，我們之所以考慮它，是因?yàn)槲覀兊囊幻麍F(tuán)隊(duì)成員在 Erlang 方面擁有豐富的經(jīng)驗(yàn)。對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務(wù)數(shù)千個(gè)并發(fā)請求。但是，如果您查看單個(gè)請求的性能，Go 對于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個(gè)原因是生態(tài)系統(tǒng)。對于我們需要的組件，Go 有更成熟的庫，而在許多情況下，Elixir 庫還沒有準(zhǔn)備好用于生產(chǎn)環(huán)境。培訓(xùn)/尋找開發(fā)人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒，絕對值得一看。

Go 是一種非常高性能的語言，對并發(fā)有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構(gòu)建東西確實(shí)需要更多時(shí)間，但您將節(jié)省大量用于優(yōu)化代碼的時(shí)間。我們在Stream有一個(gè)小型開發(fā)團(tuán)隊(duì)，為超過 5 億最終用戶提供動力和聊天。Go 結(jié)合了 強(qiáng)大的生態(tài)系統(tǒng) 、新開發(fā)人員的 輕松入門、快速的性能 、對并發(fā)的 可靠支持和高效的編程環(huán)境 ，使其成為一個(gè)不錯的選擇。Stream 仍然在我們的儀表板、站點(diǎn)和機(jī)器學(xué)習(xí)中利用 Python 來提供個(gè)性化的訂閱源. 我們不會很快與 Python 說再見，但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

go語言無緩沖的channel

無緩沖的通道（unbuffered channel）是指在接收前沒有能力保存任何值的通道。

這種類型的通道要求發(fā)送goroutine和接收goroutine同時(shí)準(zhǔn)備好，才能完成發(fā)送和接收操作。否則，通道會導(dǎo)致先執(zhí)行發(fā)送或接收操作的 goroutine 阻塞等待。

這種對通道進(jìn)行發(fā)送和接收的交互行為本身就是同步的。其中任意一個(gè)操作都無法離開另一個(gè)操作單獨(dú)存在。

阻塞：由于某種原因數(shù)據(jù)沒有到達(dá)，當(dāng)前協(xié)程（線程）持續(xù)處于等待狀態(tài)，直到條件滿足，才接觸阻塞。

同步：在兩個(gè)或多個(gè)協(xié)程（線程）間，保持?jǐn)?shù)據(jù)內(nèi)容一致性的機(jī)制。

下圖展示兩個(gè) goroutine 如何利用無緩沖的通道來共享一個(gè)值：

在第 1 步，兩個(gè) goroutine 都到達(dá)通道，但哪個(gè)都沒有開始執(zhí)行發(fā)送或者接收。

在第 2 步，左側(cè)的 goroutine 將它的手伸進(jìn)了通道，這模擬了向通道發(fā)送數(shù)據(jù)的行為。這時(shí)，這個(gè) goroutine 會在通道中被鎖住，直到交換完成。

在第 3 步，右側(cè)的 goroutine 將它的手放入通道，這模擬了從通道里接收數(shù)據(jù)。這個(gè) goroutine 一樣也會在通道中被鎖住，直到交換完成。

在第 4 步和第 5 步，進(jìn)行交換，并最終，在第 6 步，兩個(gè) goroutine 都將它們的手從通道里拿出來，這模擬了被鎖住的 goroutine 得到釋放。兩個(gè) goroutine 現(xiàn)在都可以去做別的事情了。

如果沒有指定緩沖區(qū)容量，那么該通道就是同步的，因此會阻塞到發(fā)送者準(zhǔn)備好發(fā)送和接收者準(zhǔn)備好接收。

無緩沖channel： —— 同步通信

標(biāo)題名稱：go語言緩沖通道 go實(shí)現(xiàn)緩存
文章URL：http://chinadenli.net/article44/ddgsehe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、小程序開發(fā)、全網(wǎng)營銷推廣、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)