本文介绍使用 encoding/json.Decoder 实现 JSON 数组的流式逐元素解析，无需将整个文件加载到内存，有效解决 json.Unmarshal 处理大型 JSON 文件时的 OOM 问题。
本文介绍使用 `encoding/json.decoder` 实现 json 数组的流式逐元素解析，无需将整个文件加载到内存，有效解决 `json.unmarshal` 处理大型 json 文件时的 oom 问题。
在 Go 开发中，当面对数 GB 级别的 JSON 数组文件（如日志导出、ETL 数据集或 API 批量响应）时，直接调用 json.Unmarshal([]byte, &v) 极易触发内存溢出（OOM）——因为该方法要求一次性将全部 JSON 内容解码为 Go 结构体切片，内存占用与数据规模呈线性正比。
真正的解决方案是流式解析（streaming decode）：利用 json.Decoder 按需读取并解析 JSON 令牌（tokens），跳过完整结构体构建，仅对当前元素执行业务逻辑。其核心在于手动处理 JSON 数组边界，并循环调用 Decode() 提取每个数组项。
以下是一个生产就绪的通用实现模板：
package main
import (
"encoding/json"
"fmt"
"log"
"os"
)
// 示例数据结构（请根据实际 JSON 字段调整）
type Record struct {
ID int `json:"id"`
Name string `json:"name"`
Email string `json:"email"`
Active bool `json:"active"`
}
func processLargeJSONArray(filename string) error {
file, err := os.Open(filename)
if err != nil {
return fmt.Errorf("failed to open file: %w", err)
}
defer file.Close()
dec := json.NewDecoder(file)
// 1. 跳过起始 '['（必须先读取第一个 token）
tok, err := dec.Token()
if err != nil {
return fmt.Errorf("expected '[', got token %v: %w", tok, err)
}
if tok != json.Delim('[') {
return fmt.Errorf("expected JSON array start '[', but got %v", tok)
}
// 2. 循环解析每个数组元素
idx := 0
for dec.More() {
var record Record
if err := dec.Decode(&record); err != nil {
return fmt.Errorf("failed to decode element #%d: %w", idx+1, err)
}
// ✅ 在此处插入你的业务逻辑（如写入数据库、过滤、转换等）
fmt.Printf("Processing record %d: %+v\n", idx+1, record)
idx++
}
// 3. 可选：验证结尾 ']'（增强健壮性）
tok, err = dec.Token()
if err != nil {
return fmt.Errorf("error reading closing bracket: %w", err)
}
if tok != json.Delim(']') {
return fmt.Errorf("expected ']', but got %v", tok)
}
log.Printf("✅ Successfully processed %d records", idx)
return nil
}
func main() {
if err := processLargeJSONArray("file.json"); err != nil {
log.Fatal(err)
}
}? 关键要点与注意事项：
- 不依赖 []T 切片分配：全程无 var all_data []Record，内存占用恒定（仅单个 Record 实例 + 解析缓冲区）；
- 错误处理必须严谨：dec.Token() 和 dec.Decode() 均可能返回错误，需逐层检查，避免静默失败；
- dec.More() 是数组迭代核心：它内部跟踪逗号分隔符和右括号，确保安全遍历；
- 支持任意嵌套结构：只要数组元素是合法 JSON 对象（或基本类型），均可解码为对应 Go 类型；
-
性能优化建议：
- 对超大文件，可配合 bufio.NewReader(file) 提升 I/O 效率；
- 若只需部分字段，可定义精简结构体（减少内存拷贝）；
- 避免在循环内创建大量临时对象，必要时复用变量或使用对象池。
? 总结：流式解析不是“高级技巧”，而是处理大规模 JSON 的标准实践。它将时间复杂度从 O(N) 内存占用降为 O(1)，同时保持代码清晰与可控。始终优先选用 json.Decoder 替代 json.Unmarshal 处理未知大小的 JSON 数组输入。
