最新消息:yaf表单扩展中新增加了浮点数、日期和集合的校验。php yaf框架扩展实践三——表单

golang中tcp socket粘包问题和处理

Golang 18619浏览 11评论

在用golang开发人工客服系统的时候碰到了粘包问题,那么什么是粘包呢?例如我们和客户端约定数据交互格式是一个json格式的字符串:

{"Id":1,"Name":"golang","Message":"message"}

当客户端发送数据给服务端的时候,如果服务端没有及时接收,客户端又发送了一条数据上来,这时候服务端才进行接收的话就会收到两个连续的字符串,形如:

{"Id":1,"Name":"golang","Message":"message"}{"Id":1,"Name":"golang","Message":"message"}

如果接收缓冲区满了的话,那么也有可能接收到半截的json字符串,酱紫的话还怎么用json解码呢?真是头疼。以下用golang模拟了下这个粘包的产生。

备注:下面贴的代码均可以运行于golang 1.3.1,如果发现有问题可以联系我。

粘包示例

server.go


//粘包问题演示服务端
package main

import (
	"fmt"
	"net"
	"os"
)

func main() {
	netListen, err := net.Listen("tcp", ":9988")
	CheckError(err)

	defer netListen.Close()

	Log("Waiting for clients")
	for {
		conn, err := netListen.Accept()
		if err != nil {
			continue
		}

		Log(conn.RemoteAddr().String(), " tcp connect success")
		go handleConnection(conn)
	}
}

func handleConnection(conn net.Conn) {
	buffer := make([]byte, 1024)
	for {
		n, err := conn.Read(buffer)
		if err != nil {
			Log(conn.RemoteAddr().String(), " connection error: ", err)
			return
		}
		Log(conn.RemoteAddr().String(), "receive data length:", n)
		Log(conn.RemoteAddr().String(), "receive data:", buffer[:n])
		Log(conn.RemoteAddr().String(), "receive data string:", string(buffer[:n]))
	}
}

func Log(v ...interface{}) {
	fmt.Println(v...)
}

func CheckError(err error) {
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}
}

client.go

//粘包问题演示客户端
package main

import (
	"fmt"
	"net"
	"os"
	"time"
)

func sender(conn net.Conn) {
	for i := 0; i < 100; i++ {
		words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
		conn.Write([]byte(words))
	}
}

func main() {
	server := "127.0.0.1:9988"
	tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}

	conn, err := net.DialTCP("tcp", nil, tcpAddr)
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}

	defer conn.Close()

	fmt.Println("connect success")

	go sender(conn)

	for {
		time.Sleep(1 * 1e9)
	}
}

运行后查看服务端输出:

golang粘包问题演示

golang粘包问题演示

可以看到json格式的字符串都粘到一起了,有种淡淡的忧伤了——头疼的事情又来了。

粘包产生原因

关于粘包的产生原因网上有很多相关的说明,主要原因就是tcp数据传递模式是流模式,在保持长连接的时候可以进行多次的收和发。如果要深入了解可以看看tcp协议方面的内容。这里推荐下鸟哥的私房菜,讲的非常通俗易懂。

粘包解决办法

主要有两种方法:

1、客户端发送一次就断开连接,需要发送数据的时候再次连接,典型如http。下面用golang演示一下这个过程,确实不会出现粘包问题。

//客户端代码,演示了发送一次数据就断开连接的
package main

import (
	"fmt"
	"net"
	"os"
	"time"
)

func main() {
	server := "127.0.0.1:9988"

	for i := 0; i < 10000; i++ {
		tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
		if err != nil {
			fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
			os.Exit(1)
		}

		conn, err := net.DialTCP("tcp", nil, tcpAddr)
		if err != nil {
			fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
			os.Exit(1)
		}

		words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
		conn.Write([]byte(words))

		conn.Close()
	}

	for {
		time.Sleep(1 * 1e9)
	}
}

服务端代码参考上面演示粘包产生过程的服务端代码

2、包头+数据的格式,根据包头信息读取到需要分析的数据。形式如下图:

golang粘包问题包头定义

golang粘包问题包头定义

从数据流中读取数据的时候,只要根据包头和数据长度就能取到需要的数据。这个其实就是平时说的协议(protocol),只是这个数据传输协议非常简单,不像tcp、ip等协议有较多的定义。在实际的过程中通常会定义协议类或者协议文件来封装封包和解包的过程。下面代码演示了封包和解包的过程:

protocol.go

//通讯协议处理,主要处理封包和解包的过程
package protocol

import (
	"bytes"
	"encoding/binary"
)

const (
	ConstHeader         = "www.01happy.com"
	ConstHeaderLength   = 15
	ConstSaveDataLength = 4
)

//封包
func Packet(message []byte) []byte {
	return append(append([]byte(ConstHeader), IntToBytes(len(message))...), message...)
}

//解包
func Unpack(buffer []byte, readerChannel chan []byte) []byte {
	length := len(buffer)

	var i int
	for i = 0; i < length; i = i + 1 {
		if length < i+ConstHeaderLength+ConstSaveDataLength {
			break
		}
		if string(buffer[i:i+ConstHeaderLength]) == ConstHeader {
			messageLength := BytesToInt(buffer[i+ConstHeaderLength : i+ConstHeaderLength+ConstSaveDataLength])
			if length < i+ConstHeaderLength+ConstSaveDataLength+messageLength {
				break
			}
			data := buffer[i+ConstHeaderLength+ConstSaveDataLength : i+ConstHeaderLength+ConstSaveDataLength+messageLength]
			readerChannel <- data

			i += ConstHeaderLength + ConstSaveDataLength + messageLength - 1
		}
	}

	if i == length {
		return make([]byte, 0)
	}
	return buffer[i:]
}

//整形转换成字节
func IntToBytes(n int) []byte {
	x := int32(n)

	bytesBuffer := bytes.NewBuffer([]byte{})
	binary.Write(bytesBuffer, binary.BigEndian, x)
	return bytesBuffer.Bytes()
}

//字节转换成整形
func BytesToInt(b []byte) int {
	bytesBuffer := bytes.NewBuffer(b)

	var x int32
	binary.Read(bytesBuffer, binary.BigEndian, &x)

	return int(x)
}

tips:解包的过程中要注意数组越界的问题;另外包头要注意唯一性。

server.go

//服务端解包过程
package main

import (
	"./protocol"
	"fmt"
	"net"
	"os"
)

func main() {
	netListen, err := net.Listen("tcp", ":9988")
	CheckError(err)

	defer netListen.Close()

	Log("Waiting for clients")
	for {
		conn, err := netListen.Accept()
		if err != nil {
			continue
		}

		Log(conn.RemoteAddr().String(), " tcp connect success")
		go handleConnection(conn)
	}
}

func handleConnection(conn net.Conn) {
	//声明一个临时缓冲区,用来存储被截断的数据
	tmpBuffer := make([]byte, 0)

	//声明一个管道用于接收解包的数据
	readerChannel := make(chan []byte, 16)
	go reader(readerChannel)

	buffer := make([]byte, 1024)
	for {
		n, err := conn.Read(buffer)
		if err != nil {
			Log(conn.RemoteAddr().String(), " connection error: ", err)
			return
		}

		tmpBuffer = protocol.Unpack(append(tmpBuffer, buffer[:n]...), readerChannel)
	}
}

func reader(readerChannel chan []byte) {
	for {
		select {
		case data := <-readerChannel:
			Log(string(data))
		}
	}
}

func Log(v ...interface{}) {
	fmt.Println(v...)
}

func CheckError(err error) {
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}
}


client.go

//客户端发送封包
package main

import (
	"./protocol"
	"fmt"
	"net"
	"os"
	"time"
)

func sender(conn net.Conn) {
	for i := 0; i < 1000; i++ {
		words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
		conn.Write(protocol.Packet([]byte(words)))
	}
	fmt.Println("send over")
}

func main() {
	server := "127.0.0.1:9988"
	tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}

	conn, err := net.DialTCP("tcp", nil, tcpAddr)
	if err != nil {
		fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
		os.Exit(1)
	}

	defer conn.Close()
	fmt.Println("connect success")
	go sender(conn)
	for {
		time.Sleep(1 * 1e9)
	}
}


运行这个程序可以看到服务端很好的获取到期望的json格式数据。完整代码演示下载:golang粘包问题解决示例

最后

上面演示的两种方法适用于不同的场景。第一种方法比较适合被动型的场景,例如打开网页,用户有请求才处理交互。第二种方法适合于主动推送的类型,例如即时聊天系统,因为要即时给用户推送消息,保持长连接是不可避免的,这时候就要用这种方法。

转载请注明:快乐编程 » golang中tcp socket粘包问题和处理

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (11)

  1. 官方维护的亚标准包websocket,已经实现了你的要求。
    九头蛇龙3年前 (2014-09-06)回复
  2. 建议做两套方案,一套是你的文章中的。还有使用websocket 。现在支持的浏览器还是很多的。
    新一3年前 (2014-10-08)回复
  3. json的解析,可以实现,不需要自定义结构。
    zerak2年前 (2015-05-06)回复
    • 请教!json的解析是怎样实现粘包的?
      abc1年前 (2016-04-08)回复
    • 求解怎么实现 949208976@qq.com 不胜感激
      escape1年前 (2016-04-09)回复
      • Use json.Decoder if your data is coming from an io.Reader stream, or you need to decode multiple values from a stream of data.
        Use json.Unmarshal if you already have the JSON data in memory.
        推荐你看一本网络开源书籍:
        https://jannewmarch.gitbooks.io/network-programming-with-go-golang-/content/dataserialisation/json.html
        abc1年前 (2016-04-12)回复
      • 查一下标准库.
        http://docscn.studygolang.com/pkg/encoding/json/
        看看这几个函数与方法
        type Decoder
        func NewDecoder(r io.Reader) *Decoder
        func (dec *Decoder) Buffered() io.Reader
        func (dec *Decoder) Decode(v interface{}) error
        func (dec *Decoder) UseNumber()
        type Encoder
        func NewEncoder(w io.Writer) *Encoder
        func (enc *Encoder) Encode(v interface{}) error
        abc1年前 (2016-04-12)回复
  4. //声明一个管道用于接收解包的数据
    readerChannel := make(chan []byte, 16)

    为什么是16?
    sky3881年前 (2016-07-14)回复
    • 陈杰斌
      这个管道是用来传递解包后的json数据的:{"Id":1,"Name":"golang","Message":"message"},是一个字节数组管道。
      解包后会往这个通道塞数据,另外一边有一个协程在及时读取该通道并进行处理。定义成16个在绝大多数情况下都够用了,太多了就浪费内存空间了。如果数据处理速度比收到的网络包慢,那就会造成阻塞,这时候要考虑优化数据处理性能。
      陈杰斌1年前 (2016-07-14)回复
      • 如果通信的消息是结构体,而且是多个结构体,这协议能用么?
        sky37887个月前 (01-12)回复
        • 陈杰斌
          这个都是有用的,不管是什么结构的格式最终都是要转为字节流进行传输。这个协议方式就是在接收的时候能够找到结构的头尾,才能进行正常的解析。
          陈杰斌6个月前 (02-27)回复