多进程处理海量数据的关键在于合理拆分任务、轻量传递数据、可靠归集结果和精准控制资源。需按文件/时间/id等维度切片，避免大对象序列化，优先传路径或参数，用临时文件或queue汇总，进程数设为cpu核数附近，并限制单进程任务量。
用多进程处理海量数据，核心是把大任务拆开、让 CPU 多核真正跑起来，而不是只靠一个核硬扛。关键不在“开多少进程”，而在“怎么拆、怎么传、怎么收”。
明确可并行的粒度：别一股脑扔进 Pool
不是所有任务都适合直接丢给 multiprocessing.Pool。先判断数据是否天然可分割——比如按文件、按时间范围、按 ID 区间、按行号分块。若原始数据是单个超大 CSV 或数据库表，得先切片（例如每 10 万行一组），再让每个进程处理一块。
- 文件类：按文件名列表分发，每个进程读一个或多个小文件
- 数据库类：用 WHERE id BETWEEN x AND y 拆查询，避免全表锁和内存溢出
- 内存数据类：用 numpy.array_split 或手动切 list，确保各子任务负载尽量均衡
谨慎传递数据：少传、传得巧、必要时换方式
进程间通信（IPC）有开销。大对象（如几 GB 的 DataFrame、大字典）直接用 Pool.map 会触发序列化+复制，反而拖慢速度甚至爆内存。
- 优先传路径、ID、参数等轻量信息，让子进程自己加载本地数据
- 必须传数据时，用 shared_memory（Python 3.8+）或 mmap 共享只读内存块
- 避免在子进程中反复打开/关闭数据库连接，改用连接池或按需新建
结果归集要简单可靠：别卡在最后一步
各进程算完，汇总结果常成瓶颈。别让主进程一个个 get() 等，也别用全局变量拼接（不安全）。
ECTouch移动商城系统
下载
ECTouch是上海商创网络科技有限公司推出的一套基于 PHP 和 MySQL 数据库构建的开源且易于使用的移动商城网店系统！应用于各种服务器平台的高效、快速和易于管理的网店解决方案，采用稳定的MVC框架开发，完美对接ecshop系统与模板堂众多模板，为中小企业提供最佳的移动电商解决方案。ECTouch程序源代码完全无加密。安装时只需将已集成的文件夹放进指定位置，通过浏览器访问一键安装，无需对已有
立即学习“Python免费学习笔记（深入）”；
- 让每个子进程把结果写入独立临时文件（如 result_001.pkl），主进程最后统一读取合并
- 用 multiprocessing.Queue 接收结构化小结果（如 (idx, value)），但注意 Queue 本身有锁，高吞吐时慎用
- 对数值型聚合（如 sum、count），可在子进程内先局部聚合，再返回少量中间值，主进程最终合并
控制资源，别让系统反被拖垮
开 50 个进程不一定比 8 个快，尤其当任务含 I/O 或内存密集操作时。
- 进程数设为 os.cpu_count() 或略高（如 ×1.2），避免上下文切换开销过大
- 用 maxtasksperchild 参数限制每个进程处理的任务数，防止内存泄漏累积
- 加简单日志（如 logging.getLogger(__name__).info(f"Proc {os.getpid()} done")），方便定位卡死或倾斜问题
基本上就这些。多进程不是银弹，但只要拆得合理、传得轻量、收得干净、控得住资源，处理千万级数据就能从小时级降到分钟级。不复杂，但容易忽略细节。
