0

0

Python 多进程程序的优雅退出设计

舞夢輝影

舞夢輝影

发布时间:2026-02-21 17:44:28

|

681人浏览过

|

来源于php中文网

原创

python多进程优雅退出有五种方法:一、用multiprocessing.event广播退出信号;二、捕获sigterm/sigint后终止并join子进程;三、用manager共享shutdown字典;四、子进程启守护线程监控父进程pid;五、结合atexit与finalize注册清理函数,注意pool.join()不可省略。

python 多进程程序的优雅退出设计

当Python多进程程序运行时,若主进程被中断或子进程异常终止,可能导致资源泄漏、临时文件残留或僵尸进程。以下是实现多进程程序优雅退出的多种方法:

一、使用 multiprocessing.Event 进行全局退出信号通知

通过共享的 Event 对象,主进程可向所有子进程广播退出信号,各子进程在循环中定期检查该事件状态,从而主动终止自身逻辑并释放资源。

1、在主进程中创建 multiprocessing.Event 实例,并将其作为参数传入每个子进程。

2、子进程在主循环中调用 event.is_set() 判断是否应退出。

立即学习Python免费学习笔记(深入)”;

3、主进程在收到 KeyboardInterrupt 或其他退出请求时调用 event.set()。

4、子进程检测到事件被设置后,执行清理操作(如关闭文件句柄、提交数据库事务),然后调用 os._exit(0) 安全退出。

二、捕获主进程 SIGTERM 和 SIGINT 并触发子进程终止

主进程通过 signal.signal 注册信号处理器,在接收到终止信号时统一调用 multiprocessing.active_children() 获取存活子进程列表,并对每个子进程调用 terminate() 与 join(),确保其完全退出。

1、导入 signal 和 sys 模块,在主进程启动前注册 signal.SIGINT 和 signal.SIGTERM 的处理函数。

2、处理函数中遍历 multiprocessing.active_children() 返回的进程对象列表。

3、对每个子进程调用 p.terminate() 发送 SIGTERM,随后立即调用 p.join(3) 等待最多3秒。

4、对仍未退出的子进程,再次调用 p.kill() 强制终止,并记录警告日志。

三、利用 multiprocessing.Manager 创建共享退出标志字典

借助 Manager 提供的代理对象,可在主进程与多个子进程间共享一个带锁的字典,其中包含 'shutdown' 键用于标识退出状态,避免 Event 在某些平台上的兼容性问题。

1、初始化 multiprocessing.Manager() 实例,并调用 manager.dict() 创建共享字典。

华锐行业电子商务系统
华锐行业电子商务系统

华锐行业电子商务系统2.0采用微软最新的.net3.5(c#)+mssql架构,代码进行全面重整及优化,清除冗余及垃圾代码,运行速度更快、郊率更高。全站生成静态、会员二级域名、竞价排名、企业会员有多套模板可供选择;在界面方面采用DIV+CSS进行设计,实现程序和界面分离,方便修改适合自己的个性界面,在用户体验方面,大量使用ajax技术,更加易用。程序特点:一、采用微软最新.net3.5+MSSQL

下载

2、将该字典传入每个子进程,子进程在循环中读取 shutdown 键值:若为 True,则进入退出流程。

3、主进程在需要退出时,对共享字典执行 shutdown_dict['shutdown'] = True。

4、子进程在退出前调用 manager.shutdown() 释放底层资源,并关闭自身日志文件句柄。

四、为每个子进程设置独立的守护线程监控主进程存活

在每个子进程中启动一个守护线程,持续检查主进程 PID 是否仍存在于系统中;若主进程已不存在,则子进程立即执行清理并退出,防止孤儿进程长期驻留。

1、子进程启动时获取主进程 PID:parent_pid = os.getppid()。

2、启动 daemon=True 的线程,循环执行 os.kill(parent_pid, 0) 检查父进程是否存活。

3、捕获 ProcessLookupError 异常表示父进程已终止,此时设置本地退出标志。

4、主线程检测到该标志后,停止业务循环,调用 atexit.register() 中注册的清理函数。

五、结合 atexit 和 multiprocessing.finalize 实现资源自动释放

利用 atexit.register() 在进程退出前执行注册函数,配合 multiprocessing.util.Finalize 为子进程注册延迟清理回调,确保即使未显式调用 join(),关键资源也能被释放。

1、在子进程初始化阶段调用 atexit.register(cleanup_resources),注册清理函数。

2、cleanup_resources 函数中关闭打开的文件、断开数据库连接、删除临时目录。

3、对需跨进程协调的资源(如共享内存块),使用 multiprocessing.util.Finalize(obj, cleanup_func, exitpriority=16) 注册高优先级终结器。

4、主进程在调用 pool.close() 后必须调用 pool.join(),否则 Finalize 可能不被执行,这是常见导致资源未释放的关键遗漏点

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

695

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

695

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

374

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2094

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

356

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

329

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

419

2023.10.16

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

916

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号