0

0

C#文件分块并行处理 C#如何将大文件分片后多线程并行计算

畫卷琴夢

畫卷琴夢

发布时间:2026-02-26 11:26:03

|

878人浏览过

|

来源于php中文网

原创

分块读取大文件时需用fileshare.read共享模式避免冲突,按字节偏移对齐行边界确保完整行读取,cpu密集型用parallel.foreach,io密集型用task.run,超大文件可选memorymappedfile但需注意跨平台和行边界处理。

c#文件分块并行处理 c#如何将大文件分片后多线程并行计算

分块读取大文件时,FileStream 必须用 FileShare.Read

直接用多个线程各自 new FileStream(path, FileMode.Open) 会抛 IOException: The process cannot access the file because it is being used by another process.。根本原因是默认打开模式不允许多个句柄同时读——哪怕只是只读。

正确做法是每个线程都独立打开文件,但显式指定共享模式:

using var fs = new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, FileOptions.SequentialScan);

注意几点:

  • FileShare.Read 是关键,缺了就必然冲突
  • FileOptions.SequentialScan 可提升大文件顺序读性能(内核会优化预读)
  • 缓冲区大小(如 4096)设为页对齐值(4KB/8KB)更稳妥,避免小缓冲导致频繁系统调用

分片不能按行切,得按字节偏移 + 完整行边界对齐

按固定字节数(如每段 10MB)硬切,大概率在行中间断开,后续解析会出错。必须保证每片起始位置是某行开头、结束位置是某行末尾(含 \n\r\n)。

实操步骤:

  • 主线程先获取总长度 fs.Length,计算理论分片起始偏移(如 start = i * chunkSize
  • 每个工作线程打开文件后,先 fs.Seek(start, SeekOrigin.Begin)
  • start > 0,向后找第一个换行符,把指针移到下一行开头(跳过被截断的半行)
  • 从新起点开始读,直到达到目标字节数或遇到换行符后超出——此时停止,确保最后一行完整

别依赖 StreamReader.ReadLine() 做边界控制:它内部缓冲不可控,跨线程复用流易错乱。纯 FileStream.Read() + 手动查 \n 更可靠。

Descript
Descript

一个多功能的音频和视频编辑引擎

下载

并行处理用 Parallel.ForEach 还是 Task.Run?看 IO 密集度

如果分片后要做的主要是 CPU 计算(如解析 JSON、统计词频),用 Parallel.ForEach(partitions, ...) 简洁高效;但如果涉及磁盘写、网络请求等 IO 操作,强行用 Parallel.ForEach 会阻塞线程池线程,拖慢整体吞吐。

更合理的分法:

  • CPU 密集型任务 → Parallel.ForEach,配 ParallelOptions.MaxDegreeOfParallelism = Environment.ProcessorCount
  • 混合型(如读完解析再写 DB)→ 用 Task.Run 包裹整个分片逻辑,由 .NET 线程池自动调度,避免死锁风险
  • 千万别在 Parallel.ForEach 里 await 异步操作——它不支持 async lambda,会卡死或静默失败

内存映射(MemoryMappedFile)适合超大文件但有陷阱

当文件远超物理内存(如 50GB+),FileStream 分块读仍可能触发频繁 GC 和内存抖动。此时可考虑 MemoryMappedFile,让 OS 负责页面调度。

但要注意:

  • Windows 上需用 MemoryMappedFile.CreateFromFile(path, FileMode.Open, null, length, MemoryMappedFileAccess.Read)length 必须精确,不能传 0(否则映射失败)
  • 每个线程需调用 mmf.CreateViewAccessor(offset, size) 创建独立视图,不能复用同一 MemoryMappedViewAccessor
  • 映射区域仍需手动处理行边界——和流式读一样,不能直接按字节切
  • Linux/macOS 对 MemoryMappedFile 支持有限,跨平台项目慎用

真正省事的边界处理,还是得靠预扫描 + 偏移校准,无论底层用流还是映射。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

448

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

324

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

246

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

886

2024.03.01

php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

182

2025.12.04

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

213

2023.09.15

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

331

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.2万人学习

C 教程
C 教程

共75课时 | 5万人学习

C++教程
C++教程

共115课时 | 19.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号