0

0

C#流式处理大型JSON数组 C#如何逐个对象读取JSON文件中的数组元素

星降

星降

发布时间:2026-03-03 11:13:17

|

193人浏览过

|

来源于php中文网

原创

.net 6+ 推荐用 jsonserializer.deserializeasyncenumerable 流式读取大型 json 数组,要求顶层为数组、流支持 seek、指定元素类型;非纯数组或低版本需用 utf8jsonreader 手动定位并逐项解析,注意 bom 处理与边界控制。

c#流式处理大型json数组 c#如何逐个对象读取json文件中的数组元素

JsonSerializer.DeserializeAsyncEnumerable 流式读取大型 JSON 数组

这是 .NET 6+ 最直接的解法:不用把整个数组加载进内存,而是按需反序列化每个元素。前提是 JSON 文件结构是顶层为数组([{...}, {...}, ...]),且每个元素结构一致。

关键点:

  • DeserializeAsyncEnumerable 要求流必须支持 Seek(比如 FileStream),不能用已读完的 MemoryStream 或网络响应流直接传入
  • 必须指定元素类型(如 MyRecord),不能用 JsonElement —— 它不支持该 API
  • 底层仍会缓冲部分数据,但内存占用与单个对象大小成正比,而非整个文件

示例:

await using var stream = File.OpenRead("huge.json");
await foreach (var item in JsonSerializer.DeserializeAsyncEnumerable<MyRecord>(stream))
{
    Process(item); // 每次只 hold 一个对象
}

Utf8JsonReader 手动跳过非数组内容并逐项解析

当 JSON 不是纯数组(比如带根对象:{"data":[...]}),或需要兼容 .NET 5 及更早版本时,得手动控制读取流程。核心是跳过外层结构,定位到数组开始位置,再循环解析每个 JSON 对象。

常见错误:

  • 误把 JsonReaderState 当作可重用状态,实际每次 Utf8JsonReader 实例只能用一次
  • 没处理逗号分隔符或末尾空格,导致下一项读取失败
  • 在数组内遇到嵌套对象/数组时,没用 Depth 正确配对起止

实操建议:先用 reader.Read() 走到 JsonTokenType.StartArray,然后用 while (reader.TokenType != JsonTokenType.EndArray) 循环,在每次循环开头检查是否为 StartObject,再用 JsonSerializer.Deserialize<t>(ref reader)</t> 解析当前对象。

MyMap AI
MyMap AI

使用AI将想法转化为图表

下载

为什么不用 JsonDocument.ParseJArray.Load

这两个方案都会将整个 JSON 加载为树形结构,内存峰值 ≈ 文件大小 + 对象开销。对 1GB 的 JSON 数组,很容易触发 OutOfMemoryException,尤其在 32 位进程或内存受限容器中。

它们适合的场景很明确:

  • JsonDocument:需要随机访问、多次查询同一份数据,且文件小于 100MB
  • JArray.Load(Newtonsoft):遗留项目、需动态 schema 或复杂 LINQ 查询,但同样全量加载

只要目标只是“顺序遍历每个对象并处理”,它们就是过度设计。

文件编码与 BOM 处理容易被忽略

如果 JSON 文件以 UTF-8 BOM(EF BB BF)开头,Utf8JsonReader 会报 JsonException: 'ï' is an invalid start of a value;而 DeserializeAsyncEnumerable 在 .NET 6 中默认不跳过 BOM,需手动处理。

稳妥做法:

  • new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, FileOptions.SequentialScan) 配合 StreamReader 检查 BOM 并跳过
  • 或直接用 File.ReadAllBytes 判断前 3 字节,再构造无 BOM 的 ReadOnlySpan<byte></byte> 传给 Utf8JsonReader
  • 避免用 File.OpenText() —— 它返回的 StreamReader 流无法直接用于 Utf8JsonReader

流式处理的真正难点不在解析逻辑,而在边界控制和错误恢复 —— 比如某一行 JSON 格式错误时,是跳过该对象继续,还是中断整个流程?这得结合业务容忍度决定。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

452

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

327

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

104

2023.09.25

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

46

2026.02.28

Golang 工程化架构设计:可维护与可演进系统构建
Golang 工程化架构设计:可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则,涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术,帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

42

2026.02.28

Golang 性能分析与运行时机制:构建高性能程序
Golang 性能分析与运行时机制:构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面,深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略,并结合实际案例剖析 Go 程序的运行时行为,帮助开发者掌握构建高性能应用的关键技能。

37

2026.02.28

Golang 并发编程模型与工程实践:从语言特性到系统性能
Golang 并发编程模型与工程实践:从语言特性到系统性能

本专题系统讲解 Golang 并发编程模型,从语言级特性出发,深入理解 goroutine、channel 与调度机制。结合工程实践,分析并发设计模式、性能瓶颈与资源控制策略,帮助将并发能力有效转化为稳定、可扩展的系统性能优势。

21

2026.02.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 9.9万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号