polars.net处理csv乱码需先用gbk解码字节再转内存流；字段截断应设hasheader:true+inferschemalength:null；parquet写入推荐lz4raw压缩并用sinkparquet；取列数据优先用values.span而非topandas()；并发写parquet须分片避免冲突。
Polars.NET 读 CSV 时中文乱码或字段截断怎么办
默认用 UTF-8 读取，但 Windows 上很多 CSV 是 GBK/GB2312 编码，Polars.NET 当前（v0.19）不支持直接传 Encoding 参数。硬指定编码会抛 System.NotSupportedException: Encoding not supported。
实操建议：
- 先用
File.ReadAllBytes(path)读原始字节，再用Encoding.GetEncoding("GBK").GetString(bytes)转字符串，写入内存流后交给LazyFrame.ScanCsv()—— 注意必须用Stream构造，不能用路径字符串 - 字段截断常见于含换行符的 CSV 字段（没加引号），改用
hasHeader: true+inferSchemaLength: null强制全量推断类型，避免早期采样误判为Utf8后截断 - 若列名含空格或特殊字符，务必设
hasHeader: true并配合separator: ','显式声明，否则首行可能被当数据
Parquet 写入报错 “Could not write to file” 或性能极低
Polars.NET 底层调用的是 Rust Polars，Windows 上写 Parquet 默认用 Snappy 压缩，但 .NET 运行时若没装对应原生依赖（如 libsnappy.dll），就会静默 fallback 到未压缩，导致磁盘 I/O 暴增、文件巨大，甚至因临时缓冲区溢出报错。
实操建议：
- 显式指定压缩算法：写入时传
new ParquetOptions { Compression = ParquetCompression.Lz4Raw }（LZ4 在 .NET 环境兼容性最好） - 避免直接
df.WriteParquet(path)，改用df.SinkParquet(path, options)—— 前者是 eager 模式，会强制 materialize 全量数据；后者走 lazy pipeline，内存更稳 - 分区写入用
SinkParquet配合GroupBy().MapGroups()，别用Filter()循环写，否则每轮都重算整个 DataFrame
从 DataFrame 提取 List 或单列数组太慢？别用 ToPandas()
ToPandas() 是调试用的桥接方法，本质是把所有数据序列化成 Python 对象再反解回 .NET，中间经历两次跨语言拷贝，10 万行以上基本卡死。
实操建议：
- 取单列值：用
df.GetColumn("col_name").Cast<arrowarray>().Values</arrowarray>直接拿底层Span<t></t>，比如Int64Array的ValueBuffer.Span - 转
List<string></string>：优先column.Chunk(0).As<stringarray>().GetValues()</stringarray>，比遍历GetValue(i)快 5–10 倍 - 需要强类型对象列表？用
df.ToRows()+Span<t>.ToArray()</t>批量映射，别用 LINQSelect(x => new Foo { ... })—— 每次x都是 boxed object，GC 压力大
多线程写同一个 Parquet 文件会崩溃
Polars.NET 的 SinkParquet 不是线程安全的，多个 Task 并发调用同一路径会触发底层 Rust 的文件锁冲突，报 IOError: The process cannot access the file because it is being used by another process。
实操建议：
- 绝对不要并发写同一文件。合并策略只有两种：先用
LazyFrame合并逻辑（Concat()/Join()），再单次写出；或按业务维度分片写不同路径，最后用ScanParquet("folder/*.parquet")统一读 - 如果必须并行处理，用
Parallel.ForEach(partitions, p => { ... df.SinkParquet($"{path}_{i}.parquet") ... })，写完再用pl.Concat(...)加载全部分片 - 注意
ScanParquet读目录时，子目录里不能有隐藏文件（如.DS_Store或_SUCCESS），否则解析失败 —— 读前先Directory.GetFiles(dir, "*.parquet", SearchOption.AllDirectories)过滤一遍
真正卡住人的往往不是语法，而是底层 Arrow 内存模型和 .NET GC 的交互方式：比如 StringArray 的 ValueBuffer 是 unmanaged memory，GetValues() 返回的 string[] 是托管堆分配，频繁调用等于在做隐式深拷贝。能用 Span<char></char> 就别碰 string。
