0

0

Python 多进程适用场景分析

冷炫風刃

冷炫風刃

发布时间:2026-02-23 20:21:15

|

440人浏览过

|

来源于php中文网

原创

cpu密集型任务必须用multiprocessing,因cpython的gil使threading无法加速计算;io密集型则优先选threading或asyncio。

python 多进程适用场景分析

什么时候该用 multiprocessing,而不是 threading

CPU 密集型任务必须用 multiprocessing,因为 threading 在 CPython 下受 GIL 限制,多线程跑计算几乎不提速。

典型场景:图像批量处理、数值模拟、加密解密、大量本地数据聚合(比如用 pandas 做 groupby+apply)。

  • IO 密集型(如发 HTTP 请求、读写文件)反而优先选 threadingasynciomultiprocessing 启动开销大,进程间通信成本高
  • 如果你的“多进程”代码跑得比单进程还慢,大概率是任务太轻量,或者频繁在进程间传大数据(比如把整个 df 传给每个子进程)
  • multiprocessing.Pool 默认启动和 CPU 核数一样多的进程,但不是越多越好——内存占用会线性增长,Linux 下还可能触发 OOM Killer

Pool.mapPool.apply_async 怎么选

Pool.map 简单直接,适合输入可迭代、函数无副作用、结果顺序必须严格对应输入顺序的场景;apply_async 更灵活,但得自己管理回调和异常。

likeshop单商户开源商城系统
likeshop单商户开源商城系统

likeshop单商户开源商城系统,公众号商城、H5商城、小程序商城、安卓APP商城、苹果APP商城代码全开源,免费商用。适用场景:B2C商城,新零售商城,社交电商商城,分销系统商城,分销电商商城,小程序商城,商城源码,商城系统,单商户,多商户,电商系统,直播,uniapp,uni-app,B2B2C,B2B,O2O,ERP,Wechat,交易系统,内容系统,雷达,crm。

下载
  • Pool.map 会阻塞直到全部完成,中间一个出错(比如某次计算抛 ZeroDivisionError),整个调用就崩,错误堆栈也难定位到具体是第几个输入项
  • apply_async 可以配合 error_callback 捕获子进程异常,也能用 get(timeout=...) 控制等待时间,避免卡死
  • 如果输入数据量极大(比如千万级 ID),别一次性 map 全部,改用 imapimap_unordered 流式处理,内存更稳

子进程拿不到主进程的变量或类实例

这是最常被卡住的点:子进程是全新 Python 解释器实例,不会自动继承主进程的全局变量、已导入模块状态、数据库连接、日志 handler 等。

立即学习Python免费学习笔记(深入)”;

  • 所有需要的数据,必须显式通过参数传入——注意 listdict 这类可变对象会被序列化(pickle),传过去的是副本,改了不影响主进程
  • 不要试图在子进程中调用 logging.info 期望它输出到主进程的 logger——得重新配置,或统一用 print + 主进程收集 stdout
  • torchtensorflow 这种底层库,若主进程已初始化 CUDA 上下文,子进程里再 init 很可能报 cudaErrorInitializationError,得在子进程里单独处理设备逻辑

Windows 下启动失败或卡在 “Starting processes…”

Windows 没有 forkmultiprocessing 必须走 spawn 方式重载模块,所以入口代码必须包在 if __name__ == '__main__': 里,否则子进程会递归启动新进程。

  • 漏写这个判断,程序可能无限 fork,CPU 占满,任务没跑起来就挂了
  • 如果用了 pyinstaller 打包,还要额外加 --multiprocessing-fork 参数,不然打包后运行照样卡住
  • 某些 IDE(比如 PyCharm 的默认配置)调试时会干扰 spawn,建议先命令行运行验证逻辑
事情说清了就结束。真正难的不是怎么写 multiprocessing,而是判断“这活儿到底值不值得拆成多进程”——多数时候瓶颈其实在磁盘 IO 或算法本身,而不是 CPU 核数。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

76

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

9

2026.01.31

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

13

2026.02.03

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

828

2023.08.22

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

87

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

101

2025.09.18

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

422

2023.07.18

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1127

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号