0

0

C# 文件系统的IO预取 C#操作系统或应用程序如何智能预读文件以提高性能

煙雲

煙雲

发布时间:2026-02-14 08:35:02

|

975人浏览过

|

来源于php中文网

原创

windows api 层面通过 createfile 传入 file_flag_sequential_scan(0x08000000)可启用顺序读预取,需配合大缓冲区(如64kb)的 readasync 使用,仅对>1mb顺序读有效;filestream 默认不开启,file.readallbytes 虽快但不可控且内存风险高,.net 无全局预取配置。

c# 文件系统的io预取 c#操作系统或应用程序如何智能预读文件以提高性能

Windows API 层面的 CreateFile 预取控制

Windows 本身支持文件打开时启用预读(FILE_FLAG_SEQUENTIAL_SCAN),C# 的 FileStream 默认不开启,但可通过底层句柄传递实现。关键不是“让 .NET 自动预取”,而是告诉系统:“我大概率会顺序读完这个文件”。

常见错误是直接用 new FileStream(path, FileMode.Open) 就指望系统聪明——它不会主动推测访问模式,尤其对小文件或随机访问场景,反而可能因预取产生无效 I/O。

  • 需显式调用 NativeMethods.CreateFile,传入 FILE_FLAG_SEQUENTIAL_SCAN(值为 0x08000000
  • 再用该句柄构造 FileStream:`new FileStream(handle, FileAccess.Read, bufferSize, isAsync: true)`
  • 仅对 >1MB 的顺序读场景有效;若后续有大量 Seek,系统会自动退化预取行为
  • .NET 6+ 中 FileStreamOptionsPreallocationSize 是写优化,和读预取无关

FileStream.ReadAsync 的缓冲区大小与预取效果

预取是否生效,和你每次读多少字节强相关。系统预取器(如 Windows SuperFetch)倾向于按 64KB~256KB 块预加载,但如果你的 ReadAsync 缓冲区只有 4KB,它可能只触发最小粒度预读,甚至被忽略。

典型误用:在循环里反复调用 stream.ReadAsync(buffer, 0, 4096) —— 这本质是“手动模拟随机读”,系统无法识别连续性。

HaloTool
HaloTool

AI工具在线集合网站

下载
  • 建议单次 ReadAsync 缓冲区设为 65536(64KB)或 131072(128KB)
  • 配合 FileStreamOptions.BufferSize 设置相同值,避免内部二次拷贝
  • 若文件已映射到内存(如通过 MemoryMappedFile),预取逻辑由 MMF 管理,FileStream 的预取标志失效

为什么 File.ReadAllBytes 看起来“很快”但不可控

它快不是因为用了高级预取,而是绕过了流式控制:直接调用 ReadFile 并传入 FILE_FLAG_NO_BUFFERING + 大缓冲区,让内核一次性把能读的都拉进用户空间。但代价是内存占用突增、无法流式处理、且对 >2GB 文件会抛 OutOfMemoryException

真实业务中容易踩的坑是把它当“性能银弹”用在大日志解析或上传前校验上——结果进程 RSS 暴涨,GC 压力陡升,还掩盖了真正需要流式处理的场景。

  • File.ReadAllBytes 不受 FILE_FLAG_SEQUENTIAL_SCAN 影响,它是同步阻塞调用
  • 等价逻辑可手写为:var buf = new byte[fileLength]; stream.Read(buf, 0, buf.Length),但要注意 fileLength 必须可信(否则缓冲区溢出)
  • 若只需校验哈希,用 HashAlgorithm.ComputeHash(stream) 流式计算,比全读更稳

.NET 运行时自身不管理磁盘预取

别在 dotnet run 参数或 runtimeconfig.json 里找“预取开关”——.NET 没有这种配置项。所有预取行为最终都下沉到 Windows I/O Manager 或 Linux page cache,C# 层只能通过正确使用 Win32 API 或合理组织读模式来“引导”系统行为。

最容易被忽略的是文件打开方式与生命周期的匹配。比如用 using var fs = File.OpenRead(path) 打开一个 500MB 文件,但只读前 10KB 就 Dispose,系统预取的后续数据块会很快被 page cache 回收,白忙一场。

  • 预取收益的前提是:打开后持续、稳定地读取足够多数据(一般 ≥ 预取窗口的 2 倍)
  • 频繁短命 FileStream 实例(
  • SSD 上预取收益远低于 HDD,但 FILE_FLAG_SEQUENTIAL_SCAN 仍有助于减少 TRIM 和 GC 干扰

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

437

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

318

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

941

2023.09.19

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

941

2023.09.19

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1090

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1148

2023.07.27

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

23

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Rust 教程
Rust 教程

共28课时 | 5.9万人学习

PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.1万人学习

Git 教程
Git 教程

共21课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号