0

0

在多进程中不使用 Manager 的 dict 是否真的共享内存

舞夢輝影

舞夢輝影

发布时间:2026-01-25 20:39:47

|

407人浏览过

|

来源于php中文网

原创

不共享。普通Python dict在多进程中各自独立,fork仅触发写时复制,修改时才分配新内存页;Windows用spawn更无自动共享。真正共享需用shared_memory、Array/Value、Manager或外部存储。

在多进程中不使用 manager 的 dict 是否真的共享内存

不使用 Manager 的 dict 在多进程中是否共享内存

不共享。普通 Python dict 在多进程间完全独立,每个子进程拿到的只是父进程创建时的一份拷贝,修改彼此互不影响。

为什么 fork 后看似“能读”但改不了

在 Unix/Linux 上用 fork 启动子进程时,会触发写时复制(Copy-on-Write),初始内存页是共享只读的——所以子进程能读到父进程 dict 的原始内容,但一旦任一进程尝试写入(比如 d['x'] = 1),内核就会为该进程单独复制一份内存页,后续操作只影响自己副本。

  • fork 不等于共享内存,只是延迟复制
  • Windows 没有 forkmultiprocessing 默认用 spawn,连初始拷贝都要显式传递,更不可能“自动共享”
  • 即使你用 global dict,每个进程都有独立的全局命名空间

真正共享内存的可行方式有哪些

想让多个进程读写同一份数据,必须走明确的共享机制:

  • multiprocessing.shared_memory(Python 3.8+):手动分配一块共享内存区域,配合 numpy.ndarraystruct 解析,适合结构化、定长数据
  • multiprocessing.Array / multiprocessing.Value:支持基础类型(int, float, c_char 等),线程安全但接口简陋,不适合嵌套结构
  • multiprocessing.Manager().dict():底层通过代理对象 + 子进程通信实现,能用但性能差、有延迟、不支持所有 dict 操作(比如不能直接对嵌套值赋值:mgr_dict['a']['b'] = 1 会报错)
  • 用外部存储(Redis、SQLite 文件、内存映射文件):绕过 Python 进程模型限制,更灵活也更可控

一个典型误用示例和对比

下面这段代码常被误解为“共享”:

from multiprocessing import Process
<p>d = {'counter': 0}</p><div class="aritcle_card flexRow">
                                                        <div class="artcardd flexRow">
                                                                <a class="aritcle_card_img" href="/ai/2317" title="PaperFake"><img
                                                                                src="https://img.php.cn/upload/ai_manual/001/246/273/175851124022342.png" alt="PaperFake"  onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
                                                                <div class="aritcle_card_info flexColumn">
                                                                        <a href="/ai/2317" title="PaperFake">PaperFake</a>
                                                                        <p>AI写论文</p>
                                                                </div>
                                                                <a href="/ai/2317" title="PaperFake" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
                                                        </div>
                                                </div><p>def worker():
d['counter'] += 1
print('in worker:', d)</p><p>if <strong>name</strong> == '<strong>main</strong>':
p = Process(target=worker)
p.start()
p.join()
print('in main:', d)  # 输出仍是 {'counter': 0}

而换成 Manager 后才真正同步:

from multiprocessing import Process, Manager
<p>if <strong>name</strong> == '<strong>main</strong>':
with Manager() as manager:
d = manager.dict({'counter': 0})
p = Process(target=lambda: d.update({'counter': d['counter'] + 1}))
p.start()
p.join()
print(d)  # {'counter': 1}

注意:manager.dict() 不是内存共享,是跨进程 RPC 调用,每次访问都走序列化/反序列化,高并发下容易成瓶颈。

真正需要低延迟共享时,别碰 Manager,优先考虑 shared_memory + 自定义协议,或换用更合适的 IPC 方式。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

595

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

108

2025.10.23

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1031

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

614

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

334

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

235

2025.08.29

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1954

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

658

2025.10.17

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.6万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号