Go处理大数据JSON应使用json.Decoder流式读取替代json.Unmarshal，内存恒定、速度快5–10倍；配合json.RawMessage跳过无关字段、gjson快速定位、sync.Pool复用实例及预分配缓冲区可进一步优化性能。
Go语言中处理大数据JSON时，直接用json.Unmarshal加载整个结构体容易导致内存暴涨、GC压力大、解析延迟高。真正高效的方案是绕过完整反序列化，用json.Decoder配合流式读取（streaming），边读边处理，内存恒定、速度显著提升。
用json.Decoder替代json.Unmarshal
json.Unmarshal要求一次性把整个JSON字节切片读入内存再解析，而json.Decoder可绑定到io.Reader（如文件、HTTP响应、管道），按需解码token，不缓存全文。尤其适合处理GB级日志、API批量响应或大型配置流。
- 对文件：用
os.Open打开后传给json.NewDecoder，无需ioutil.ReadAll - 对HTTP响应：直接传
resp.Body，避免中间拷贝 - 解码时调用
Decode(&v)逐个解析对象，或用Token()手动跳过无关字段
跳过不需要的字段，减少反射开销
标准json.Unmarshal会对每个字段做反射查找和类型匹配，字段越多越慢。流式处理中，若只关心部分字段（如日志中的timestamp和level），可用json.RawMessage暂存整块数据，后续按需解析关键字段，其余跳过。
- 定义结构体时，将不确定或庞大的字段声明为
json.RawMessage - 用
decoder.Token()遍历token，遇到目标key再读值；非目标key用skip()快速跳过嵌套结构 - 避免使用
map[string]interface{}，它会强制解析全部键值并分配大量小对象
结合encoding/json + gjson混合加速
对超大JSON数组（如百万条记录），纯流式仍需写较多跳过逻辑。此时可先用gjson.Get快速定位关键路径，再用json.Decoder精准解析子片段。gjson基于指针偏移解析，零内存分配，适合条件过滤。
立即学习“go语言免费学习笔记（深入）”；
- 例如：读取
data.items.#.name中所有name字段，先用gjson.ParseReader扫描一次获取位置，再用json.NewDecoder在对应字节区间解码 - 注意：gjson不可修改原数据，仅作“只读索引”，与Decoder配合刚好互补
- 比全量
Unmarshal快5–10倍，内存占用下降90%以上
预分配缓冲区 + 复用Decoder实例
高频JSON解析场景（如微服务接收大量上报），每次新建Decoder和底层bufio.Reader有额外开销。可通过复用+预分配进一步压测极限。
- 用
sync.Pool缓存*json.Decoder实例，避免重复初始化 - 为
bufio.NewReaderSize指定合适缓冲区（如64KB），减少系统调用次数 - 若输入格式固定，可提前编译正则或构建字段映射表，避免运行时字符串比较
