根本解法是用 chunksize 分块读取并显式指定 dtype，避免全量加载；复杂逻辑用 dask.dataframe 延迟计算；cpu 瓶颈可换 polars；优先将 csv 转为 parquet 提升 i/o 效率。
用 pandas.read_csv 分块读取超大 CSV 文件
内存爆掉、程序卡死，基本都是因为一次性把几个 GB 的 CSV 全塞进 df。根本解法不是换机器，而是跳过“全量加载”这步。
pandas.read_csv 的 chunksize 参数就是为此而生——它不返回 DataFrame，而是返回一个可迭代的 TextFileReader 对象。
- 设置
chunksize=50000表示每次只读 5 万行，处理完立刻释放内存 - 务必配合
dtype显式指定列类型（比如把int64改成int32或category），否则 pandas 默认推断会吃掉双倍内存 - 避免在循环里反复调用
pd.concat()拼接所有 chunk，这会重建索引并累积内存；真要合并，先存 list 再一次性 concat
for chunk in pd.read_csv('huge_file.csv', chunksize=50000, dtype={'user_id': 'category', 'score': 'float32'}):
result = chunk.groupby('user_id')['score'].mean()
# 处理 result，例如写入数据库或追加到文件
用 dask.dataframe 替代 pandas 做延迟计算
当分块逻辑变复杂（比如跨 chunk 的 groupby、窗口函数、多表 join），手写 chunk 循环很快失控。dask.dataframe 提供了类似 pandas 的 API，但底层是惰性执行 + 自动分片。
它不真正加载数据，直到你调用 .compute()；而且能利用多核，甚至扩展到集群。
立即学习“Python免费学习笔记（深入）”；
eSiteGroup站群管理系统是基于eFramework低代码开发平台构建，是一款高度灵活、可扩展的智能化站群管理解决方案，全面支持SQL Server、SQLite、MySQL、Oracle等主流数据库，适配企业级高并发、轻量级本地化、云端分布式等多种部署场景。通过可视化建模与模块化设计，系统可实现多站点的快速搭建、跨平台协同管理及数据智能分析，满足政府、企业、教育机构等组织对多站点统一管控的
- 读取时用
dd.read_csv('*.csv')可直接匹配多个文件，自动并行 -
ddf.groupby('key').value.mean().compute()看似和 pandas 一样，但实际触发的是任务图调度，不是单线程逐行扫 - 注意：
dask不支持全部 pandas 方法（如df.style、部分字符串方法），出错时看报错里是否含NotImplementedError - 小文件太多（比如上万个小 CSV）会导致调度开销反超收益，此时先用 shell 合并：
cat *.csv > all.csv
用 polars 加速单机大数据分析
如果你的瓶颈在 CPU 而非 I/O，且数据能放进内存（几十 GB 级别），polars 往往比 pandas 快 3–10 倍，比 dask 更轻量。
它是 Rust 编写的列式引擎，天然支持并行、零拷贝、表达式优化，API 设计也更贴近 SQL 思维。
- 读 CSV 推荐用
pl.scan_csv()（lazy mode），它返回LazyFrame，所有操作都不执行，只建计划 - 链式调用后加
.collect()才真正执行；中间任意一步加.explain()能看到优化后的执行计划 - 对时间序列或字符串操作，polars 的内置函数（如
str.contains()、dt.month()）比 pandas 的.str/.dt属性快得多 - 注意：polars 默认不支持 NaN，空值用
null表示；与 pandas 互转需显式调用.to_pandas()，大数据量下慎用
import polars as pl
q = pl.scan_csv('data.csv').filter(pl.col('age') > 30).group_by('city').agg(pl.col('salary').mean())
print(q.explain()) # 查看执行计划
result = q.collect() # 触发计算
磁盘 I/O 和数据格式比算法更重要
很多“优化”卡在硬盘上：CSV 解析慢、重复读多次、临时文件乱写。真实提速往往来自换格式、调缓冲、控路径。
- 把原始 CSV 转成
parquet（用df.to_parquet()或pl.write_parquet()），列存 + 压缩 + 元数据索引，后续读取快 5 倍以上，且支持按列读、按分区过滤 - 用
pyarrow引擎读 parquet（pd.read_parquet(..., engine='pyarrow')），比默认fastparquet更稳更快 - 检查
/tmp是否在机械硬盘上——把临时目录软链到 SSD：export TMPDIR=/ssd/tmp - 避免在 NFS 或 Docker volume 上做中间计算，本地 NVMe 盘才是默认选择
真正的大数据处理，90% 的时间花在等磁盘和等内存回收，而不是算力不够。选对格式、压住 I/O、让数据流动起来，比调参和换算法见效更快。
