csvhelper读大文件oom是因为readrecords()默认全量加载，应改用getrecord()单行读取、禁用缓冲、手动控制游标，并配合streamreader/streamwriter流式处理。
为什么直接用 CsvHelper 读大文件会 OOM？
因为默认的 ReadRecords<t>()</t> 会把整个 CSV 加载进内存，哪怕你只想要前 100 行。1GB 的 CSV 很可能触发 OutOfMemoryException，尤其在 32 位进程或内存受限环境（如 Azure App Service 免费层）。
关键不是库不行，而是调用方式错了——必须禁用自动缓冲、跳过反射式全量解析、手动控制读取节奏。
-
CsvReader要配new CsvConfiguration { BufferSize = 8192, ShouldSkipRecord = ... }，避免默认 64KB 缓冲在长行时爆涨 - 永远不用
GetRecords<t>()</t>，改用GetRecord<t>()</t>单条读取 + 显式Read()移动游标 - 如果字段少、结构固定，跳过泛型映射，直接用
parser.ReadField()拿字符串，省掉Convert.ChangeType开销
如何边读边写，避免中间存全量数据？
典型场景：清洗 500 万行 CSV，过滤掉空邮箱、标准化手机号、写入新文件。这时内存里不该存在“原始列表”或“结果列表”，而应是“当前行 → 处理 → 写入”流水线。
用两个独立的 CsvReader / CsvWriter 实例，共享同一个 StreamReader / StreamWriter，并确保 StreamWriter 启用 AutoFlush = true 或定期 Flush()：
using var reader = new StreamReader("input.csv");
using var writer = new StreamWriter("output.csv") { AutoFlush = true };
using var csvReader = new CsvReader(reader, config);
using var csvWriter = new CsvWriter(writer, CultureInfo.InvariantCulture);
csvWriter.WriteField("name"); csvWriter.WriteField("phone"); csvWriter.NextRecord();
while (csvReader.Read())
{
var name = csvReader.GetField("full_name");
var rawPhone = csvReader.GetField("mobile");
if (!string.IsNullOrWhiteSpace(rawPhone))
{
var cleaned = Regex.Replace(rawPhone, @"\D", "");
csvWriter.WriteField(name);
csvWriter.WriteField(cleaned);
csvWriter.NextRecord();
}
}
注意：csvReader.Read() 是关键驱动，不是 foreach —— 后者隐式调用 GetRecords，又掉坑里了。
NetShop软件特点介绍： 1、使用ASP.Net(c#)2.0、多层结构开发 2、前台设计不采用任何.NET内置控件读取数据，完全标签化模板处理，加快读取速度3、安全的数据添加删除读取操作，利用存储过程模式彻底防制SQL注入式攻击4、前台架构DIV+CSS兼容IE6,IE7,FF等，有利于搜索引挚收录5、后台内置强大的功能，整合多家网店系统的功能，加以优化。6、支持三种类型的数据库：Acces
遇到中文乱码、BOM、超长字段怎么办？
Windows 记事本保存的 CSV 常带 UTF-8 BOM，CsvHelper 默认不识别，会把 BOM 当作第一列内容；Excel 导出的 CSV 可能用 GBK；某行字段含千字文加换行符，会撑爆默认缓冲区。
- 读取前先检测 BOM：
var bom = new byte[3]; stream.Read(bom, 0, 3); if (bom.SequenceEqual(new byte[]{0xEF, 0xBB, 0xBF})) ...，然后用new UTF8Encoding(encoderShouldEmitUTF8Identifier: false) - 强制指定编码：构造
StreamReader时传Encoding.UTF8或Encoding.GetEncoding("GB2312")，别依赖自动探测 - 超长字段：设
Configuration.DetectDelimiter = false+Configuration.Delimiter = ","，关掉耗时的分隔符探测；加大BufferSize到 65536，但别无脑调大——它影响的是单次Read()的底层 IO 批量，不是内存驻留总量
替代方案：什么情况下该换 StreamReader + 手撕？
当 CSV 极度简单（无引号、无换行、无逗号在字段内）、且性能压到极限（比如每秒处理 100MB+），CsvHelper 的字段解析、类型转换、验证逻辑反而成瓶颈。
此时直接用 StreamReader.ReadLine() + Split(',') 更快，但必须满足：所有字段都不含逗号、双引号、换行符。否则 Split 会错切。
- 安全做法：用
Microsoft.VisualBasic.FileIO.TextFieldParser（.NET Core 5+ 可用），它原生支持带引号的 CSV，比手写状态机稳，又比CsvHelper轻量 - 若需并发处理，别用单个
CsvReader，改用File.ReadLines()分块（按行数切，非字节数），再丢给Parallel.ForEach，每块内用TextFieldParser - 记住：CSV 规范本身允许引号包裹含逗号字段，只要业务方保证“导出时不启用引号”，才能放心手撕
真正难的从来不是读几百万行，而是确认你的 CSV 真的“规整”——字段里的回车、BOM 的有无、Excel 和 Python pandas 写出的编码差异，这些细节漏查一行，后面全白跑。
