python多进程通过绕过gil实现多核并行，需掌握fork/spawn启动差异、queue/pipe/sharedmemory通信选择、僵尸进程防范及processpoolexecutor最佳实践。
Python多进程的核心在于绕过GIL（全局解释器锁），真正利用多核CPU并行执行计算密集型任务。它不是简单地“开多个进程”，而是涉及进程创建、通信、同步、资源管理等一系列底层机制。理解原理才能避开常见陷阱，比如子进程无法访问父进程的变量、共享内存需显式声明、队列和管道的阻塞行为等。
进程启动方式与fork/vspawn的区别
Python的red">multiprocessing默认在Unix/Linux上用fork，Windows/macOS上用spawn。fork会复制父进程内存快照，启动快但可能引发状态不一致（如已初始化的数据库连接、日志句柄）；spawn则重新导入模块、重建对象，更干净但稍慢。Windows下必须保证入口代码加if __name__ == '__main__':保护，否则会无限递归创建子进程。
- 开发时优先用spawn模式（跨平台一致），可通过mp.set_start_method('spawn')显式设置
- Linux调试可临时切fork观察性能差异，但上线前建议统一为spawn
- 避免在模块顶层执行耗时操作或启动服务（如Flask.run()），否则spawn会重复执行
进程间通信（IPC）的三种主流方式
不要直接用全局变量——每个进程内存独立。推荐根据场景选：Queue适合生产者-消费者模型；Pipe适合两点间高速单向/双向传输；SharedMemory（Python 3.8+）适合大量数值数据共享（如NumPy数组）。
- Queue线程安全，内部基于Pipe+锁，但有额外序列化开销，适合中低频消息
- Pipe无锁、更快，但需手动管理两端（conn1, conn2），且不支持多对一
- SharedMemory需配合numpy.ndarray或array.array使用，避免pickle序列化，适合图像处理、批量计算
避免僵尸进程与资源泄漏的关键实践
子进程结束后若父进程未调用join()或未处理exitcode，会变成僵尸进程。同时，文件句柄、网络连接、锁对象等不会自动继承或释放，必须显式管理。
立即学习“Python免费学习笔记（深入）”；
- 始终对Process实例调用p.join(timeout=...)，超时后用p.is_alive()判断是否强制终止
- 用concurrent.futures.ProcessPoolExecutor替代裸Process，它自动管理生命周期和异常传播
- 在子进程中打开的文件、数据库连接，务必用try/finally或with确保关闭
实战案例：并行图像灰度转换（带进度与错误隔离）
典型计算密集型任务，要求：不阻塞主线程、显示整体进度、单张图出错不影响其余处理、结果按原序返回。
- 用ProcessPoolExecutor + submit()提交任务，获取Future对象列表
- 用tqdm.as_completed()实时更新进度条，而非按提交顺序等待
- 子函数内捕获IOError等异常并返回（非抛出），主进程统一收集错误日志
- 输入路径列表按哈希分片（非简单切片），避免某进程负载过重
