0

0

Python 多进程共享全局变量的注意事项

舞姬之光

舞姬之光

发布时间:2026-02-24 20:57:46

|

752人浏览过

|

来源于php中文网

原创

python多进程间全局变量不共享,因各进程内存独立;需用manager、value或array实现跨进程数据共享,避免直接修改全局变量。

python 多进程共享全局变量的注意事项

多进程里改全局变量根本不会同步

Python 的 multiprocessing 每个子进程都拥有独立内存空间,父进程的全局变量在 fork 或 spawn 时被复制一份,后续修改互不影响。这不是 bug,是设计使然——别指望靠 global 关键字让多个进程“看到同一个变量”。

  • 常见错误现象:counter = 0 在主进程定义,子进程中执行 counter += 1,最后打印还是 0
  • 使用场景:计数器、缓存状态、配置标志等需要跨进程协调的数据
  • 根本原因:Linux 下 fork 复制地址空间,Windows/macOS 下 spawn 重新导入模块,都不共享运行时内存

Manager() 共享基础数据类型最稳妥

Manager() 启动一个服务进程管理共享对象,通过代理(proxy)访问,支持 listdictValueArray 等,适合低频读写、结构简单的情况。

  • 实操建议:优先用 manager.dict()manager.list(),避免直接传裸 dict/list
  • 参数差异:manager.Value('i', 0)'i' 是 ctypes 类型码,不是 Python 类型;manager.dict() 返回的是代理对象,不能直接用 .update() 批量赋值(会报 AttributeError),得逐项赋值
  • 性能影响:每次访问都走 IPC,比本地变量慢 10–100 倍,别在 tight loop 里反复读写
from multiprocessing import Process, Manager
<p>def worker(shared_dict, idx):
shared<em>dict[f'proc</em>{idx}'] = idx * 2</p><p>if <strong>name</strong> == '<strong>main</strong>':
with Manager() as manager:
d = manager.dict()
ps = [Process(target=worker, args=(d, i)) for i in range(3)]
for p in ps:
p.start()
for p in ps:
p.join()
print(dict(d))  # {'proc_0': 0, 'proc_1': 2, 'proc_2': 4}</p>

ValueArray 适合高性能单值/数组场景

如果只共享一个整数、浮点数或固定长度数组,且读写频繁,ValueArrayManager 快得多——它们基于共享内存(mmap),不经过服务进程中转。

Peppertype.ai
Peppertype.ai

高质量AI内容生成软件,它通过使用机器学习来理解用户的需求。

下载
  • 常见错误现象:用 Value('i', 0) 后直接 val += 1,结果没变;必须用 val.value += 1
  • 使用场景:计数器、状态标志、图像帧缓冲、数值计算中间结果
  • 兼容性注意:Windows 下 spawn 方式需把 Value/Array 创建放在 if __name__ == '__main__': 内,否则子进程拿不到句柄
  • 类型码别写错:'d' 是 double,'f' 是 float,'i' 是 signed int,写成 'int' 会报 TypeError

别碰 threading.local 或闭包变量来“模拟”共享

有人试过在进程启动前用闭包捕获变量,或误用 threading.local,结果发现完全无效——threading.local 只在单线程内有效,多进程下每个进程都有自己的 local 实例;闭包变量只是普通对象,在子进程中仍是副本。

立即学习Python免费学习笔记(深入)”;

  • 典型错误代码:local = threading.local(); local.x = 1 → 子进程里 local.x 是未定义的
  • 真正容易被忽略的点:连 logging 的 handler 都可能因进程隔离失效,比如用 FileHandler 时多个进程同时写一个文件会导致内容错乱,得用 QueueHandler + 主进程消费
  • 复杂点在于:有些第三方库内部用了全局状态(如某些 ORM 连接池、requests 的 session 缓存),fork 后可能出连接泄漏或认证失效,得在子进程中显式重置

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

311

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

223

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

77

2026.02.12

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

592

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

105

2025.10.23

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

830

2023.08.22

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

330

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

773

2023.10.18

Golang 生态工具与框架:扩展开发能力
Golang 生态工具与框架:扩展开发能力

《Golang 生态工具与框架》系统梳理 Go 语言在实际工程中的主流工具链与框架选型思路,涵盖 Web 框架、RPC 通信、依赖管理、测试工具、代码生成与项目结构设计等内容。通过真实项目场景解析不同工具的适用边界与组合方式,帮助开发者构建高效、可维护的 Go 工程体系,并提升团队协作与交付效率。

1

2026.02.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号