使用filestream分块读写可安全处理大文件，避免内存溢出。通过设置4kb-64kb缓冲区，循环调用read/write方法逐段处理数据，结合async/await提升i/o性能，合理控制缓冲区大小和对象创建，能高效稳定地操作gb级文件。
处理大文件时，直接一次性读取或写入容易导致内存溢出。C# 中的 FileStream 配合分块读写可以高效安全地操作大文件。关键在于避免将整个文件加载到内存中，而是通过缓冲区逐步处理。
使用 FileStream 分块读取大文件
通过指定缓冲区大小，逐段读取文件内容，适合处理 GB 级别的文件。
- 设置合适的缓冲区大小（如 4KB ~ 64KB），平衡性能与内存占用
- 使用 Read 方法循环读取，直到返回值为 0，表示文件结束
- 可配合 StreamReader 或 BinaryReader 处理文本或二进制数据
示例代码：
using (var fs = new FileStream("largefile.txt", FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize: 4096, useAsync: false))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)
{
// 处理 buffer 中的 bytesRead 个字节
ProcessChunk(buffer, bytesRead);
}
}
使用 FileStream 分块写入大文件
写入时同样应避免一次性写入全部数据，采用缓冲写入方式更稳定。
- 打开文件时使用 FileMode.Create 创建新文件
- 每次写入一个数据块，及时释放内存
- useAsync 可设为 true 实现异步写入（需配合异步模式）
示例代码：
using (var fs = new FileStream("output.dat", FileMode.Create, FileAccess.Write, FileShare.None, bufferSize: 8192))
{
foreach (var chunk in GetFileChunks())
{
fs.Write(chunk, 0, chunk.Length);
}
}
提升性能的关键技巧
合理配置参数和使用模式能显著提升大文件处理效率。
- bufferSize 建议设为 4096 的倍数，通常 8KB~64KB 范围内效果较好
- 对超大文件（>2GB），确保使用 long 类型获取长度，避免 int 溢出
- 若需频繁随机访问，可结合 Position 属性跳转位置
- useAsync 设为 true 时，配合 async/await 可提升 I/O 并发能力
- 避免在循环中创建大量临时对象，减少 GC 压力
基本上就这些。正确使用 FileStream 分块读写，再大的文件也能平稳处理。
