0

0

C# 文件系统的IO路径压缩 C#在数据写入磁盘前进行透明压缩的优缺点

星降

星降

发布时间:2026-03-03 10:50:01

|

537人浏览过

|

来源于php中文网

原创

filesystemwatcher监控ntfs压缩文件夹会失效,因压缩导致irp请求分批、事件延迟或重复;writethrough绕过缓存使压缩无效;需用deviceiocontrol设置压缩且句柄须generic_write;小文件压缩反降性能。

c# 文件系统的io路径压缩 c#在数据写入磁盘前进行透明压缩的优缺点

Windows 上用 FileSystemWatcher 监控压缩文件夹会失效

NTFS 压缩属性(compact /c)是透明的,但不是“零感知”的。当你对一个文件夹启用 NTFS 压缩后,FileSystemWatcher 的某些事件(尤其是 CreatedChanged)可能延迟、丢失或触发两次——因为底层写入流程多了压缩/解压缓冲阶段,文件系统通知时机被扰动。

  • 这不是 .NET Bug,是 NTFS 驱动层行为:压缩操作可能拆分成多个 IRP 请求,导致事件分批发出
  • 若业务依赖实时捕获新建文件(如日志归档、热加载配置),必须在监控路径外做一层校验:比如轮询 LastWriteTime + 文件大小是否稳定
  • 避免对高吞吐目录(如每秒写入数百小文件)启压缩+监控组合,改用非压缩路径 + 应用层 LZ4 压缩写入更可控

FileStream 开启 FileOptions.WriteThrough 时压缩无效

NTFS 压缩只作用于“落盘前的最终写入流”,而 WriteThrough 绕过系统缓存直写磁盘,此时压缩引擎根本没机会介入——文件以原始大小写入,后续也不会自动压缩。

  • 验证方式:用 compact /q filename 查看结果,显示“0 个文件被压缩”即说明未生效
  • 若你既需要强制刷盘又想压缩,只能二选一:WriteThrough 关闭(依赖系统缓存策略),或改用 MemoryMappedFile + 手动压缩后再 Flush()
  • 特别注意日志场景:很多 StreamWriter 默认带 AutoFlush=true,但底层仍是缓存写入;真正触发 WriteThrough 需显式传参或调用 Flush(true)

C# 中调用 DeviceIoControl 启用压缩需绕过 .NET 封装

.NET 没提供直接设置文件压缩属性的 API,File.SetAttributesFileAttributes.Compressed 在大多数情况下只是修改元数据标记,不触发实际压缩——尤其对已存在内容的文件。

MyMap AI
MyMap AI

使用AI将想法转化为图表

下载
  • 真实压缩必须调用 Win32 DeviceIoControl + FSCTL_SET_COMPRESSION 控制码,且句柄需以 GENERIC_WRITE 打开并禁用共享写入(FileShare.None
  • 常见错误:用 File.OpenRead 获取句柄后尝试压缩 → 报错 ERROR_ACCESS_DENIED (5)
  • 压缩是异步后台操作,调用返回成功 ≠ 文件立即变小;可用 GetCompressedFileSize 检查实际压缩后大小,比 Length 更可靠

小文件反复读写时 NTFS 压缩反而拖慢性能

单个文件小于 4KB 时,NTFS 压缩不仅不省空间(最小分配单元仍是 4KB),还会因每次读写都触发 CPU 解压/压缩而显著增加延迟——实测随机读取 1KB 文件,压缩后 I/O 耗时平均增加 3–5 倍。

  • 适用边界很明确:仅对 >64KB 的文本/日志/序列化数据文件开启压缩有收益
  • 数据库文件(.mdf/.ldf)、SQLite 文件、内存映射文件一律禁用 NTFS 压缩——它们自身已有压缩逻辑或依赖精确字节偏移
  • 若程序大量生成临时小文件(如缓存分片),宁可聚合写入大文件再压缩,也不要逐个启用 NTFS 压缩

压缩不是开关,是权衡:它把磁盘空间换给了 CPU 时间和内核路径复杂度。最常被忽略的是——你永远无法预测某个特定文件在特定硬件上是否真的被压缩了,得靠 compact /qGetCompressedFileSize 实锤,而不是相信属性标记。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

952

2023.09.19

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

952

2023.09.19

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1381

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1159

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

829

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

460

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2361

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

854

2023.08.10

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

3

2026.03.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.6万人学习

C 教程
C 教程

共75课时 | 5.1万人学习

C++教程
C++教程

共115课时 | 20.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号