0

0

如何在多进程环境中正确共享和更新嵌套对象的数据

霞舞

霞舞

发布时间:2026-02-07 22:21:30

|

186人浏览过

|

来源于php中文网

原创

如何在多进程环境中正确共享和更新嵌套对象的数据

本文详解如何使用 multiprocessing.manager 实现跨进程的嵌套对象状态同步,解决子进程修改数据后父对象无法感知的问题,并提供可运行的结构化示例与关键注意事项。

在 Python 多进程编程中,一个常见误区是:子进程对对象属性的修改不会自动反映到主进程(或父对象)中——因为每个进程拥有独立的内存空间,对象被深度复制(fork 时拷贝),而非共享引用。你代码中的 Type2 在子进程中持续修改 self.array、self.dict 等属性,但这些变更仅存在于子进程内存中;主进程的 Type1.type2_dict["type20"] 所指向的仍是原始 Type2 实例(其字段从未被更新),因此 get_data() 返回的仍是初始化值。

根本解法不是“传递对象”,而是显式共享可跨进程访问的数据容器。multiprocessing.Manager() 提供的 Manager.list、Manager.dict、Manager.Value 等代理对象(proxy objects)才是真正的共享桥梁——它们底层通过服务器进程(server process)协调读写,确保所有进程看到一致的最新状态。

下面是一个重构后的、生产就绪的解决方案,严格遵循你的嵌套结构(World → Environment → People),并聚焦核心问题:让 Type1 能实时获取 Type2 的最新状态

UP简历
UP简历

基于AI技术的免费在线简历制作工具

下载

✅ 正确做法:用 Manager 代理替代原生 Python 对象

import multiprocessing
import time

class Type2:
    def __init__(self, shared_array, shared_dict, shared_text, shared_number):
        # 所有状态均绑定到 Manager 代理对象
        self.array = shared_array   # manager.list()
        self.dict = shared_dict     # manager.dict()
        self.text = shared_text     # manager.Value('s', ...)
        self.number = shared_number # manager.Value('i', ...)

    def change(self):
        """在子进程中持续更新共享数据"""
        counter = 0
        while counter < 5:  # 为演示设限,避免无限循环
            # 直接修改 Manager 代理(线程/进程安全)
            self.array[:] = [6, 7, 8, 9, 10]           # 注意:list[:] = ... 替代赋值
            self.dict.update({"d": 4, "e": 5, "f": 6}) # dict.update() 安全
            self.text.value = "Goodbye"
            self.number.value += 1
            counter += 1
            time.sleep(0.5)  # 模拟耗时操作

    def get_data(self):
        """返回当前共享数据的快照(注意:返回的是副本或代理值)"""
        return (
            list(self.array),           # 转为普通 list 供主进程使用
            dict(self.dict),           # 转为普通 dict
            self.text.value,           # 取出字符串值
            self.number.value          # 取出整数值
        )

class Type1:
    def __init__(self):
        # 初始化 Manager 代理(必须在主进程创建!)
        self.manager = multiprocessing.Manager()
        self.array = self.manager.list([1, 2, 3])
        self.dict = self.manager.dict({"a": 1, "b": 2})
        self.text = self.manager.Value("s", "Hello")
        self.number = self.manager.Value("i", 0)

        self.process_dict = {}
        self.type2_dict = {}
        self.num = 0

    def start(self):
        # 创建 Type2 实例,传入共享代理
        new_type = Type2(self.array, self.dict, self.text, self.number)
        p = multiprocessing.Process(target=new_type.change)
        self.process_dict[f"type2{self.num}"] = p
        self.type2_dict[f"type2{self.num}"] = new_type
        self.num += 1
        p.start()

    def stop(self):
        for p in self.process_dict.values():
            p.join(timeout=1)  # 先尝试优雅退出
            if p.is_alive():
                p.terminate()
            p.join()

    def sync_from_type2(self):
        """从 Type2 实例同步最新共享数据(关键:调用 get_data)"""
        if self.type2_dict:
            key = f"type2{self.num - 1}"
            # 此处真正获取子进程写入的最新值
            arr, d, txt, num = self.type2_dict[key].get_data()
            self.array[:] = arr      # 同步回本地代理(可选,因已共享)
            self.dict.clear()
            self.dict.update(d)
            self.text.value = txt
            self.number.value = num

    def print_state(self):
        print("=== Type1 Current State ===")
        print("array:", list(self.array))
        print("dict:", dict(self.dict))
        print("text:", self.text.value)
        print("number:", self.number.value)
        print("active processes:", len(self.process_dict))

if __name__ == "__main__":
    t = Type1()

    print("Before start:")
    t.print_state()

    t.start()
    time.sleep(1)  # 等待子进程写入

    print("\nAfter start (before sync):")
    t.print_state()  # 此时可能仍是初始值(因未主动读取)

    t.sync_from_type2()  # ✅ 关键步骤:主动拉取最新共享状态
    print("\nAfter sync:")
    t.print_state()

    t.stop()
    print("\nAfter stop:")
    t.print_state()
    print("Type1 stopped.")

⚠️ 关键注意事项(避坑指南)

  • Manager 对象必须在主进程创建:manager = multiprocessing.Manager() 必须在 if __name__ == "__main__": 下且早于任何 Process 启动,否则子进程无法连接到管理器服务。
  • 禁止直接赋值覆盖代理对象
    ❌ self.array = [1,2,3] → 这会断开与 Manager 的连接,变成普通 list。
    ✅ self.array[:] = [1,2,3] 或 self.array.extend([...]) → 修改代理内容。
  • 字典/列表方法需用代理支持的操作
    使用 dict.update()、list.append()、list[:] = ...,避免 dict = {...} 或 list = [...]。
  • get_data() 返回的是副本,非实时代理:若需持续监听,应在主循环中定期调用 sync_from_type2() 或使用 Queue 推送事件。
  • 进程间无共享对象实例:Type2 实例本身不共享,只有它内部持有的 Manager 代理才共享。因此 self.type2_dict[...].array 和主进程的 t.array 是同一个代理对象。

? 总结

要实现嵌套对象的跨进程状态同步,核心不是“让对象可共享”,而是将可变状态提取为 Manager 代理,并在所有进程中统一操作这些代理。你的原始设计试图共享 Type2 实例,这是不可行的;正确路径是:

  1. 主进程创建 Manager 及其代理(list/dict/Value);
  2. 将代理注入 Type2 构造函数;
  3. Type2.change() 直接修改代理;
  4. Type1 通过 Type2.get_data()(读取代理值)或直接访问代理(如 t.array[:])获取最新状态。

此模式可无缝扩展至 World → Environment → People 的多层嵌套,只需确保每层传递的是 Manager 代理而非原生对象即可。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

798

2023.08.22

append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

345

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1077

2023.11.14

python中append的含义
python中append的含义

本专题整合了python中append的相关内容,阅读专题下面的文章了解更多详细内容。

177

2025.09.12

Golang处理数据库错误教程合集
Golang处理数据库错误教程合集

本专题整合了Golang数据库错误处理方法、技巧、管理策略相关内容,阅读专题下面的文章了解更多详细内容。

36

2026.02.06

java多线程方法汇总
java多线程方法汇总

本专题整合了java多线程面试题、实现函数、执行并发相关内容,阅读专题下面的文章了解更多详细内容。

16

2026.02.06

1688阿里巴巴货源平台入口与批发采购指南
1688阿里巴巴货源平台入口与批发采购指南

本专题整理了1688阿里巴巴批发进货平台的最新入口地址与在线采购指南,帮助用户快速找到官方网站入口,了解如何进行批发采购、货源选择以及厂家直销等功能,提升采购效率与平台使用体验。

279

2026.02.06

快手网页版入口与电脑端使用指南 快手官方短视频观看入口
快手网页版入口与电脑端使用指南 快手官方短视频观看入口

本专题汇总了快手网页版的最新入口地址和电脑版使用方法,详细提供快手官网直接访问链接、网页端操作教程,以及如何无需下载安装直接观看短视频的方式,帮助用户轻松浏览和观看快手短视频内容。

147

2026.02.06

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

11

2026.02.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号