0

0

Python多进程内存复制_写时复制机制解析

冰川箭仙

冰川箭仙

发布时间:2026-03-09 21:05:03

|

553人浏览过

|

来源于php中文网

原创

python多进程fork默认启用写时复制(cow),父子进程初始共享物理内存页,仅在写入时复制;只读大对象几乎零额外开销,但可变对象修改、引用计数变更、gc或打印等均可能触发复制。

python多进程内存复制_写时复制机制解析

Python多进程启动时,默认采用 fork 方式(在 Unix/Linux/macOS 上),此时子进程会继承父进程的整个内存空间,但并非立即复制全部数据——而是依赖操作系统的 写时复制(Copy-on-Write, CoW) 机制。理解这一点,是优化多进程内存使用、避免意外内存暴涨的关键。

写时复制如何工作?

fork 后,父子进程的虚拟内存页表指向相同的物理内存页,内核将这些页标记为只读。只要父子双方都只读取数据,就不会发生实际复制;一旦某一方尝试修改某页内存(比如给一个列表 append 元素、给字典赋新值),内核捕获到写保护异常,才为该页分配新物理内存并复制内容,再允许写入。

这意味着:

  • 只读的大对象(如预加载的模型参数、大型只读 NumPy 数组、JSON 配置字典)几乎不增加额外内存开销;
  • 看似“共享”的变量,一旦被任一进程修改,就会触发独立副本,内存占用翻倍甚至更高(尤其频繁修改时);
  • CoW 是操作系统级行为,Python 解释器本身不参与控制,也无法主动“取消”或“强制触发”复制。

哪些操作容易意外触发写时复制?

表面上没变,实则已写入的常见情况包括:

B12
B12

B12是一个由AI驱动的一体化网站建设平台

下载

立即学习Python免费学习笔记(深入)”;

  • 可变对象的就地修改:例如 data_list.append(x)cache_dict[key] = valuearr[0] = 1(NumPy 数组);
  • 隐式引用计数变更:CPython 中对对象增减引用(如局部变量赋值、函数传参)虽不改内容,但会修改对象头中的 refcount 字段——该字段位于对象所在内存页内,可能触发整页复制;
  • GC 相关操作:子进程中首次触发垃圾回收,可能遍历并临时标记对象,导致部分页被写入;
  • 日志/调试输出:打印大对象(如 print(big_dict))会触发对象遍历与字符串化,间接引起引用变化或缓冲区写入。

如何减少不必要的内存复制?

核心思路是:让子进程尽量只读、延迟写、隔离写、用共享内存替代。

  • tuplefrozen_settypes.MappingProxyType 替代可变容器,明确表达只读意图,也能防止误改;
  • 避免在子进程中修改从父进程继承的大型数据结构;需修改时,显式创建副本(如 local_data = copy.deepcopy(shared_data)),反而更可控;
  • multiprocessing.shared_memory(Python 3.8+)或 multiprocessing.Array/Value 管理真正需要跨进程读写的原始数据,它们驻留在共享内存段,不走 CoW 路径;
  • 启动子进程前,主动释放父进程中无用的大对象(如 del big_data + gc.collect()),确保 fork 时内存页更干净;
  • 在 macOS 或 Windows 上注意差异:macOS 的 fork CoW 行为与 Linux 接近;Windows 不支持 fork,multiprocessing 默认用 spawn,会重新导入模块、重建对象,天然无 CoW,但启动慢、全局状态不继承。

验证是否发生了写时复制?

可通过监控进程 RSS 内存变化粗略判断:

  • 启动子进程后立即检查 psutil.Process().memory_info().rss,应接近父进程;
  • 子进程执行一次大对象修改(如向百万元素列表追加)后再查 RSS,若显著增长(如 +100MB),说明相关页已被复制;
  • 更精确的方法是分析 /proc/[pid]/smaps(Linux)中 PssShared_Clean 字段,但需 root 权限且较复杂。

写时复制不是 Python 特性,而是 fork + 操作系统内存管理的协同结果。它让多进程“看起来轻量”,但也埋下隐性开销。清楚它的触发边界,才能写出内存友好的并发程序。不复杂但容易忽略。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

454

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

18

2026.02.03

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

739

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

220

2023.09.04

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

59

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号