0

0

Python multiprocessing 模块进程启动模式解析

冷漠man

冷漠man

发布时间:2026-02-25 19:17:02

|

156人浏览过

|

来源于php中文网

原创

fork复制父进程全部内存状态,spawn启动全新解释器仅导入必要模块;前者易导致日志重复、数据库连接失效,后者可能因不可序列化对象报picklingerror。

python multiprocessing 模块进程启动模式解析

spawn 和 fork 启动方式的实际区别在哪

Windows 上只能用 spawn,Linux/macOS 默认用 fork,但两者行为差异远不止平台限制。关键在于内存和状态继承方式:fork 复制父进程整个地址空间(含已初始化的模块、全局变量、日志 handler、数据库连接等),而 spawn 是全新 Python 解释器启动,只导入必要模块,重新执行顶层代码。

常见错误现象:fork 下子进程意外复用了父进程的 logging 配置,导致日志重复输出;或复用了已关闭的数据库连接,抛出 sqlite3.ProgrammingError: Cannot operate on a closed databasespawn 则可能因顶层代码中含不可序列化对象(如 lambda、嵌套函数)而卡在 PicklingError

  • 若主模块顶层有副作用(如 logging.basicConfig()torch.set_num_threads(1)),优先选 spawn 避免污染
  • 若需快速启动且确定无共享资源冲突(如纯计算任务),fork 启动更快、内存开销更低
  • 跨平台项目必须显式设 mp.set_start_method('spawn'),否则 macOS 10.15+ 的默认 forkserver 可能引发 PyTorch 多线程死锁

forkserver 模式到底该不该用

forkserver 是折中方案:先启一个干净的“服务器进程”,后续子进程都从它 fork 而来,避免每次启动都重新 import 模块。但它不是万能解药——服务器进程本身仍用 fork 初始化,所以父进程里已触发的副作用(比如 numpy 的线程池初始化)依然会被继承。

使用场景有限:适合启动开销大(如加载大型模型)、且父进程能严格控制副作用的长期运行服务。普通脚本反而更易出问题。

立即学习Python免费学习笔记(深入)”;

SmartYoga瑜伽馆预约小程序
SmartYoga瑜伽馆预约小程序

随着国民健身意识越来越强,各式各样的健身模式不断出现。瑜伽也受到了大众的喜爱,瑜伽行业发展越来越快,作为馆主,你还在微信群里让你的会员使用接龙的方式进行约课吗?你还在用传统的Excel进行排课吗?如果有一款小程序会员点一下就能约课,会不会让你惊喜、意外、激动——没错,瑜伽预约小程序就是为了解决馆主会员约课的痛点应运而生。功能包括瑜伽馆动态,瑜伽常识,瑜伽老师预约,瑜伽课程预约等模块。

下载
  • PyTorch 用户慎用:forkservertorch.set_num_threads() 冲突,子进程可能卡死在 pthread_create
  • 不能在 Jupyter 中安全使用:forkserver 依赖 Unix 域套接字,notebook 内核环境不稳定,常报 OSError: [Errno 24] Too many open files
  • 调试困难:服务器进程不输出日志,子进程崩溃时错误堆栈可能丢失上下文

如何安全地切换启动方法

必须在所有 ProcessPool 创建前调用 set_start_method(),且只能调用一次。放在 if __name__ == '__main__': 块最外层是最稳妥的做法。

容易踩的坑是:在模块导入时就创建了 Pool(比如某些包的 __init__.py 里),此时再调 set_start_method 会直接报 RuntimeError: context has already been set

  • 检查是否已有子进程存在:mp.active_children() 返回非空列表时禁止切换
  • macOS 上避免在 fork 后调 set_start_method('spawn'),会触发 AssertionError: can only be called in main thread
  • 多进程嵌套场景(如主进程 spawn 子进程,子进程再开 Pool),内层必须显式传入 mp.get_context('spawn'),不能依赖全局 context

Windows 下 multiprocessing 报错 "AttributeError: Can't get attribute" 怎么修

这是 spawn 模式下最典型的反序列化失败,本质是子进程无法定位函数定义位置。根本原因不是函数没写对,而是 Python 不知道该去哪 import 它——尤其当函数在交互式环境、Jupyter cell 或临时脚本中定义时。

核心原则:所有要被子进程调用的函数,必须位于可 import 的 .py 文件顶层,且模块路径能被子进程的 sys.path 找到。

  • 别把 target 函数写在 if __name__ == '__main__': 里,子进程不会执行这个块
  • Jupyter 中必须用 %run -i script.py 或将函数移到独立文件,不能靠 def f(): ... + p = Process(target=f)
  • 使用 functools.partial 包装函数时,确保被包装的原函数可 import,而非局部变量
  • 错误信息里的函数名(如 Can't get attribute 'worker' on <module from></module>)提示你:子进程当前模块名是 __mp_main__,不是你的原文件名

启动模式不是性能开关,而是进程隔离策略的选择。真正难处理的从来不是怎么切,而是切完之后——那些你以为没影响、其实已被复制进子进程的全局状态。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

830

2023.08.22

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

87

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

103

2025.09.18

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

192

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

60

2026.01.05

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

596

2023.08.10

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

127

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号