欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

GolangTCP粘包拆包問題的解決方法

什么是粘包問題

創(chuàng)新互聯(lián)公司是專業(yè)的上高網(wǎng)站建設公司，上高接單;提供成都做網(wǎng)站、成都網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行上高網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

最近在使用Golang編寫Socket層，發(fā)現(xiàn)有時候接收端會一次讀到多個數(shù)據(jù)包的問題。于是通過查閱資料，發(fā)現(xiàn)這個就是傳說中的TCP粘包問題。下面通過編寫代碼來重現(xiàn)這個問題：

服務端代碼 server/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
  // 監(jiān)聽到新的連接，創(chuàng)建新的 goroutine 交給 handleConn函數(shù) 處理
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn(conn)
		}
	}
}

func handleConn(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("關閉")
	fmt.Println("新連接：", conn.RemoteAddr())

	result := bytes.NewBuffer(nil)
	var buf [1024]byte
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			fmt.Println("recv:", result.String())
		}
		result.Reset()
	}
}

客戶端代碼 client/main.go

func main() {
	data := []byte("[這里才是一個完整的數(shù)據(jù)包]")
	conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
	if err != nil {
		fmt.Printf("connect failed, err : %v\n", err.Error())
  return
	}
	for i := 0; i <1000; i++ {
		_, err = conn.Write(data)
		if err != nil {
			fmt.Printf("write failed , err : %v\n", err)
			break
		}
	}
}

運行結(jié)果

listen to 4044
新連接： [::1]:53079
recv: [這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)�
recv: �][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包][這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
...省略其它的...

從服務端的控制臺輸出可以看出，存在三種類型的輸出：

  1. 一種是正常的一個數(shù)據(jù)包輸出。
  2. 一種是多個數(shù)據(jù)包“粘”在了一起，我們定義這種讀到的包為粘包。
  3. 一種是一個數(shù)據(jù)包被“拆”開，形成一個破碎的包，我們定義這種包為半包。

為什么會出現(xiàn)半包和粘包？

  • 客戶端一段時間內(nèi)發(fā)送包的速度太多，服務端沒有全部處理完。于是數(shù)據(jù)就會積壓起來，產(chǎn)生粘包。
  • 定義的讀的buffer不夠大，而數(shù)據(jù)包太大或者由于粘包產(chǎn)生，服務端不能一次全部讀完，產(chǎn)生半包。

什么時候需要考慮處理半包和粘包？

TCP連接是長連接，即一次連接多次發(fā)送數(shù)據(jù)。
每次發(fā)送的數(shù)據(jù)是結(jié)構的，比如 JSON格式的數(shù)據(jù) 或者 數(shù)據(jù)包的協(xié)議是由我們自己定義的（包頭部包含實際數(shù)據(jù)長度、協(xié)議魔數(shù)等）。

解決思路

  1. 定長分隔(每個數(shù)據(jù)包最大為該長度，不足時使用特殊字符填充) ，但是數(shù)據(jù)不足時會浪費傳輸資源
  2. 使用特定字符來分割數(shù)據(jù)包，但是若數(shù)據(jù)中含有分割字符則會出現(xiàn)Bug
  3. 在數(shù)據(jù)包中添加長度字段，彌補了以上兩種思路的不足，推薦使用

拆包演示

通過上述分析，我們最好通過第三種思路來解決拆包粘包問題。

Golang的bufio庫中有為我們提供了Scanner，來解決這類分割數(shù)據(jù)的問題。

type Scanner
Scanner provides a convenient interface for reading data such as a file of newline-delimited lines of text. Successive calls to the Scan method will step through the 'tokens' of a file, skipping the bytes between the tokens. The specification of a token is defined by a split function of type SplitFunc; the default split function breaks the input into lines with line termination stripped. Split functions are defined in this package for scanning a file into lines, bytes, UTF-8-encoded runes, and space-delimited words. The client may instead provide a custom split function.

簡單來講即是：

Scanner為 讀取數(shù)據(jù) 提供了方便的 接口。連續(xù)調(diào)用Scan方法會逐個得到文件的“tokens”，跳過 tokens 之間的字節(jié)。token 的規(guī)范由 SplitFunc 類型的函數(shù)定義。我們可以改為提供自定義拆分功能。

接下來看看 SplitFunc 類型的函數(shù)是什么樣子的：

type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)

Golang官網(wǎng)文檔上提供的使用例子🌰：

func main() {
	// An artificial input source.
	const input = "1234 5678 1234567901234567890"
	scanner := bufio.NewScanner(strings.NewReader(input))
	// Create a custom split function by wrapping the existing ScanWords function.
	split := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
		advance, token, err = bufio.ScanWords(data, atEOF)
		if err == nil && token != nil {
			_, err = strconv.ParseInt(string(token), 10, 32)
		}
		return
	}
	// Set the split function for the scanning operation.
	scanner.Split(split)
	// Validate the input
	for scanner.Scan() {
		fmt.Printf("%s\n", scanner.Text())
	}

	if err := scanner.Err(); err != nil {
		fmt.Printf("Invalid input: %s", err)
	}
}

于是，我們可以這樣改寫我們的程序：

服務端代碼 server/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn2(conn)
		}
	}
}

func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
  // 檢查 atEOF 參數(shù) 和 數(shù)據(jù)包頭部的四個字節(jié)是否 為 0x123456(我們定義的協(xié)議的魔數(shù))
	if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
		var l int16
    // 讀出 數(shù)據(jù)包中 實際數(shù)據(jù) 的長度(大小為 0 ~ 2^16)
		binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
		pl := int(l) + 6
		if pl <= len(data) {
			return pl, data[:pl], nil
		}
	}
	return
}

func handleConn2(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("關閉")
	fmt.Println("新連接：", conn.RemoteAddr())
	result := bytes.NewBuffer(nil)
  var buf [65542]byte // 由于 標識數(shù)據(jù)包長度 的只有兩個字節(jié) 故數(shù)據(jù)包最大為 2^16+4(魔數(shù))+2(長度標識)
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			scanner := bufio.NewScanner(result)
			scanner.Split(packetSlitFunc)
			for scanner.Scan() {
				fmt.Println("recv:", string(scanner.Bytes()[6:]))
			}
		}
		result.Reset()
	}
}

客戶端代碼 client/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn2(conn)
		}
	}
}

func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
  // 檢查 atEOF 參數(shù) 和 數(shù)據(jù)包頭部的四個字節(jié)是否 為 0x123456(我們定義的協(xié)議的魔數(shù))
	if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
		var l int16
    // 讀出 數(shù)據(jù)包中 實際數(shù)據(jù) 的長度(大小為 0 ~ 2^16)
		binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
		pl := int(l) + 6
		if pl <= len(data) {
			return pl, data[:pl], nil
		}
	}
	return
}

func handleConn2(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("關閉")
	fmt.Println("新連接：", conn.RemoteAddr())
	result := bytes.NewBuffer(nil)
  var buf [65542]byte // 由于 標識數(shù)據(jù)包長度 的只有兩個字節(jié) 故數(shù)據(jù)包最大為 2^16+4(魔數(shù))+2(長度標識)
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			scanner := bufio.NewScanner(result)
			scanner.Split(packetSlitFunc)
			for scanner.Scan() {
				fmt.Println("recv:", string(scanner.Bytes()[6:]))
			}
		}
		result.Reset()
	}
}

運行結(jié)果

listen to 4044
新連接： [::1]:55738
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
recv: [這里才是一個完整的數(shù)據(jù)包]
...省略其它的...

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對創(chuàng)新互聯(lián)的支持。

網(wǎng)站欄目：GolangTCP粘包拆包問題的解決方法
本文鏈接：http://chinadenli.net/article42/goghhc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供響應式網(wǎng)站、網(wǎng)站建設、網(wǎng)站制作、網(wǎng)站設計、、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設計