0

0

Golang序列化性能对比 protobufvsJSON

P粉602998670

P粉602998670

发布时间:2025-08-22 10:01:01

|

585人浏览过

|

来源于php中文网

原创

Protobuf在性能和数据体积上优于JSON,因其为二进制协议且避免反射,适用于内部服务通信;JSON因可读性和兼容性,更适合对外API。

golang序列化性能对比 protobufvsjson

在Golang中进行数据序列化时,Protobuf与JSON的性能对比是一个老生常谈的话题,但其核心结论依然明确:在绝大多数需要高性能和数据紧凑性的场景下,Protobuf的表现要远优于JSON。 这不仅仅体现在序列化和反序列化的速度上,更在于最终数据包的体积。究其原因,Protobuf是一种二进制协议,而JSON是文本协议,两者在底层处理机制上有着本质的区别

解决方案: 理解Protobuf和JSON在Golang中的工作机制,是做出选择的基础。JSON作为文本格式,其优势在于人类可读性强、跨语言兼容性好(无需预定义schema)、以及与Web生态的无缝结合。在Golang中,标准库

encoding/json
提供了非常便捷的API,通过反射机制将Go结构体与JSON字符串进行转换。这种便利性是以牺牲部分性能为代价的:反射本身有开销,同时文本解析和生成也比二进制处理更耗时。

Protobuf(Protocol Buffers)则完全不同。它要求你先定义一个

.proto
文件来描述数据结构,然后通过
protoc
工具生成对应语言(包括Go)的结构体代码。这些生成的代码是高度优化的,直接操作内存,避免了反射的开销。序列化时,Protobuf将数据编码成紧凑的二进制格式;反序列化时,直接从二进制流中解析。这种强类型、预编译的特性,使得Protobuf在序列化速度和数据体积上都具有压倒性优势,尤其是在数据量大、传输频繁的场景。

我个人认为,选择哪种序列化方式,很大程度上取决于你的应用场景和对性能的敏感度。如果你的服务主要面向Web前端或需要高度可读性、易调试的API,JSON无疑是更合理的选择。但如果是在内部微服务之间进行RPC调用,或者需要将大量数据高效地存储或传输,Protobuf的优势就非常明显了。别为了所谓的“性能提升”,上来就给自己挖坑,除非你真的知道你在做什么。

Golang中如何实现Protobuf与JSON的序列化与反序列化?

在Golang中实现这两种序列化方式,各有其特点和常用模式。

立即学习go语言免费学习笔记(深入)”;

对于JSON,这算是Go开发者最熟悉的了。你通常会定义一个结构体,然后利用

json.Marshal
json.Unmarshal
函数。比如,我们有一个用户数据结构:

package main

import (
    "encoding/json"
    "fmt"
    "log"
)

type User struct {
    ID   int    `json:"id"`
    Name string `json:"name"`
    Email string `json:"email,omitempty"` // omitempty表示如果为空值则不序列化
}

func main() {
    // JSON 序列化
    user := User{ID: 1, Name: "Alice", Email: "alice@example.com"}
    jsonData, err := json.Marshal(user)
    if err != nil {
        log.Fatalf("JSON Marshal error: %v", err)
    }
    fmt.Println("JSON data:", string(jsonData))

    // JSON 反序列化
    var newUser User
    err = json.Unmarshal(jsonData, &newUser)
    if err != nil {
        log.Fatalf("JSON Unmarshal error: %v", err)
    }
    fmt.Printf("JSON Unmarshaled: %+v\n", newUser)

    // 演示omitempty
    userNoEmail := User{ID: 2, Name: "Bob"}
    jsonDataNoEmail, err := json.Marshal(userNoEmail)
    if err != nil {
        log.Fatalf("JSON Marshal error: %v", err)
    }
    fmt.Println("JSON data (no email):", string(jsonDataNoEmail))
}

这段代码直观易懂,

json
包会根据结构体字段的tag进行序列化和反序列化。我个人觉得,对于快速原型开发或对外API,这种方式简直是福音。

而Protobuf则需要多一步:定义

.proto
文件并生成Go代码。 首先,创建一个
user.proto
文件:

syntax = "proto3";

package example;

option go_package = "./;example"; // 指定Go包名和路径

message User {
  int32 id = 1;
  string name = 2;
  string email = 3;
}

然后,使用

protoc
工具生成Go代码:
protoc --go_out=. --go_opt=paths=source_relative user.proto
这会在当前目录下生成一个
user.pb.go
文件。

接着,在你的Go代码中就可以使用这些生成的结构体和方法了:

package main

import (
    "fmt"
    "log"

    // 导入生成的Protobuf包
    "google.golang.org/protobuf/proto" // 确保你已经安装了 go get google.golang.org/protobuf
    "example" // 对应 user.pb.go 中的 package example
)

func main() {
    // Protobuf 序列化
    user := &example.User{
        Id:    1,
        Name:  "Alice",
        Email: "alice@example.com",
    }
    protoData, err := proto.Marshal(user)
    if err != nil {
        log.Fatalf("Protobuf Marshal error: %v", err)
    }
    fmt.Println("Protobuf data (binary):", protoData) // 打印出来是字节切片

    // Protobuf 反序列化
    var newUser example.User
    err = proto.Unmarshal(protoData, &newUser)
    if err != nil {
        log.Fatalf("Protobuf Unmarshal error: %v", err)
    }
    fmt.Printf("Protobuf Unmarshaled: %+v\n", newUser)
}

Protobuf的序列化和反序列化通过

proto.Marshal
proto.Unmarshal
函数完成,它们直接操作生成的Go结构体。对比来看,Protobuf的流程确实多了一步代码生成,这在开发初期可能会让人觉得有点“重”,但一旦流程跑通,其带来的性能和数据体积优势是实实在在的。

云点滴客户关系管理CRM OA系统
云点滴客户关系管理CRM OA系统

云点滴客户解决方案是针对中小企业量身制定的具有简单易用、功能强大、永久免费使用、终身升级维护的智能化客户解决方案。依托功能强大、安全稳定的阿里云平 台,性价比高、扩展性好、安全性高、稳定性好。高内聚低耦合的模块化设计,使得每个模块最大限度的满足需求,相关模块的组合能满足用户的一系列要求。简单 易用的云备份使得用户随时随地简单、安全、可靠的备份客户信息。功能强大的报表统计使得用户大数据分析变的简单,

下载

影响Golang序列化性能的关键因素有哪些?

在Golang中,序列化性能并非单一因素决定,它是一个多方面影响的综合结果。我个人在实践中总结了几点关键因素:

  • 数据结构复杂度与大小: 这似乎是显而易见的。一个包含大量嵌套结构、复杂类型(如Map、Slice)或字段数量庞大的数据,无论是JSON还是Protobuf,其序列化和反序列化的耗时都会增加。但相对而言,Protobuf的紧凑编码在复杂结构上优势更明显。JSON因为要处理字符串解析、引号、逗号等,开销会更大。
  • 反射机制的使用: 这是JSON性能瓶颈的一个核心原因。Go的
    encoding/json
    包在运行时通过反射来检查结构体字段、类型和标签,从而决定如何进行序列化。反射虽然提供了极大的灵活性,但其运行时开销比直接的编译时代码要高得多。Protobuf由于是预先生成代码,完全避开了反射,直接操作内存,因此速度更快。
  • 二进制与文本编码的差异: Protobuf是二进制编码,这意味着它直接将数据转换为字节流,没有多余的字符(如JSON中的空格、换行、字段名字符串等)。这种方式不仅节省了空间,也减少了CPU在解析和生成字符串时的负担。文本编码(如JSON)需要进行字符集转换、字符串匹配、数值字符串转换等操作,这些都比直接的二进制操作更耗时。
  • 内存分配与GC压力: 序列化和反序列化过程中会涉及大量的内存分配,尤其是在处理大块数据时。JSON在反序列化时可能需要分配更多的临时内存来存储解析过程中的字符串和中间对象。频繁的内存分配会增加Go垃圾回收(GC)的压力,从而间接影响程序的整体性能。Protobuf在设计上更注重内存效率,尽管也会有分配,但通常更可控。
  • 库的实现效率: 即使是同一种序列化方式,不同的库实现也可能带来性能差异。例如,对于JSON,除了标准库
    encoding/json
    ,还有像
    jsoniter
    这样的第三方库,它们通过优化反射使用、引入缓存等方式,可以在某些场景下提供比标准库更快的性能。对于Protobuf,除了官方库,早期的
    gogo/protobuf
    也曾因其性能优化(如
    unsafe
    包的使用)而备受关注,尽管现在官方库也做了很多优化。

在我看来,如果你发现序列化成为了你的性能瓶颈,那么深入理解这些因素,并结合具体的业务场景进行优化,是必不可少的。

在实际项目中,如何选择合适的序列化方式?

在实际项目中,选择Protobuf还是JSON,从来都不是一个简单的“哪个更快就用哪个”的问题。它更像是一场权衡艺术,需要综合考虑性能、开发效率、可维护性、兼容性以及团队熟悉度等多个维度。

对于对外接口(Public APIs)或Web服务: 我个人认为,JSON几乎是唯一的选择。原因很简单:

  • 浏览器兼容性: 现代浏览器原生支持JSON,前端开发人员可以轻松处理。
  • 人类可读性: JSON数据格式清晰,方便调试和排查问题,无论是通过浏览器开发者工具还是抓包工具。
  • 广泛的生态系统: 几乎所有编程语言、工具和平台都对JSON有良好的支持。
  • 灵活性: JSON是schema-less的,对于字段的增删改,客户端通常可以更容忍,这在API迭代较快的场景下很有用。

你很难想象一个对外提供Protobuf二进制流的Web API,那会让前端和第三方集成方崩溃的。所以,对外接口,JSON是没得选的,因为它就是事实标准,好调试,兼容性好。

对于内部微服务通信(Internal Microservices/RPC): 这是Protobuf大放异彩的舞台。

  • 性能和效率: 这是最主要的原因。在服务之间进行高频、大量的数据传输时,Protobuf的序列化速度和紧凑的数据体积能显著降低网络延迟和CPU消耗。对于高并发的后端服务,这能带来实实在在的性能提升。
  • 强类型与契约: Protobuf强制定义
    .proto
    文件,这为服务间的通信提供了一个明确的契约。它有助于团队成员理解数据结构,减少因数据格式不一致导致的bug。这在大型分布式系统中尤其重要,能有效避免“接口文档滞后”的问题。
  • 跨语言支持: 虽然JSON也跨语言,但Protobuf通过代码生成,能确保不同语言实现之间的数据结构高度一致,减少了手动映射的错误。
  • 版本管理: Protobuf提供了良好的向前兼容和向后兼容机制,只要遵循一些简单的规则(如不修改字段编号、不删除已使用的字段编号等),就能平滑地进行服务升级。

我个人是倾向于在服务间通信时无脑上Protobuf的,除非有特别的理由,比如某个服务确实非常简单,数据量极小,或者为了快速迭代而暂时放弃强类型约束。

其他考量:

  • 数据存储: 有时,Protobuf的二进制格式也会被用于数据存储,尤其是在需要高效读取和节省存储空间的场景,例如日志系统、缓存层或某些数据库的特定字段。但如果需要经常进行Ad-hoc查询或人工检查数据,JSON的优势又会体现出来。
  • 开发体验与学习曲线: 对于刚接触Protobuf的团队,可能需要一些时间来适应
    .proto
    文件的定义、
    protoc
    工具的使用以及版本管理。JSON则几乎没有学习成本。
  • 工具链支持: JSON的工具链非常成熟,各种在线解析器、格式化工具、可视化工具随处可见。Protobuf虽然也有一些工具,但通常不如JSON那样普及和直观。

最终的选择,往往是基于对项目需求、团队技能栈和未来扩展性的综合评估。没有银弹,只有最适合的方案。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

174

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

224

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

335

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

206

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

388

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

193

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

188

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

191

2025.06.17

php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

7

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
golang socket 编程
golang socket 编程

共2课时 | 0.1万人学习

nginx浅谈
nginx浅谈

共15课时 | 0.8万人学习

golang和swoole核心底层分析
golang和swoole核心底层分析

共3课时 | 0.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号