0

0

Python多进程系统学习路线第217讲_核心原理与实战案例详解【教程】

冷炫風刃

冷炫風刃

发布时间:2025-12-27 20:52:03

|

612人浏览过

|

来源于php中文网

原创

Python多进程需用if name == '__main__':保护主模块,否则spawn方式下子进程重复导入导致递归或失败;Pool.map适合同构批量阻塞处理,apply_async适用于异步单任务;共享状态须用Value、Array、Manager或Lock等IPC机制,禁用全局变量。

python多进程系统学习路线第217讲_核心原理与实战案例详解【教程】

Python 多进程不是“开多个线程就能并行”的简单替换,multiprocessing 模块背后依赖操作系统级的进程创建(forkspawn),数据不共享、通信需显式设计、启动开销大——这些特性直接决定你能不能真正压榨 CPU,而不是写出一堆假并行代码。

为什么 Process 启动后不执行目标函数?

常见于 Windows 或 macOS 上使用 spawn 启动方式时,主模块未加 if __name__ == '__main__': 保护。子进程重新导入模块,导致重复触发 Process(...).start(),形成无限递归或静默失败。

  • 必须把进程创建和启动逻辑放在 if __name__ == '__main__': 块内
  • 在 Linux 上用 fork 可能“侥幸”通过,但跨平台代码必须守这条规则
  • PyInstaller 打包后也常因缺少该判断报错,错误信息类似:AttributeError: Can't get attribute 'worker' on <module '__main__' ...>

Poolmapapply_async 到底怎么选?

Pool.map 是阻塞式批量分发,适合输入数据同构、处理逻辑一致、且你愿意等全部结果;apply_async 是非阻塞单任务提交,适合任务耗时差异大、需要提前响应、或要动态控制并发数。

  • map 内部会自动切分可迭代对象,但整个调用会阻塞直到所有子任务完成
  • apply_async 返回 AsyncResult 对象,需手动调用 .get(timeout=...) 获取结果,超时抛 multiprocessing.TimeoutError
  • 若传入函数引用了闭包变量或 lambda,spawn 方式下会序列化失败,改用普通函数 + 显式参数传递

如何安全地在多进程间共享状态?

别直接用全局变量,它在每个进程中是独立副本。真要共享,得用 multiprocessing 提供的同步原语:

Mokker AI
Mokker AI

AI产品图添加背景

下载

立即学习Python免费学习笔记(深入)”;

  • 只读数据:用 multiprocessing.Value(标量)或 multiprocessing.Array(一维数组),支持 ctypes 类型,如 Value('i', 0)
  • 复杂结构:用 multiprocessing.Manager() 创建代理对象(dict, list, Namespace),但性能较差,因为走进程间通信(IPC)
  • 计数/开关类状态:优先用 multiprocessing.SemaphoreLockEvent,避免竞态;Lock 必须在子进程中显式 acquire/release,不能依赖 with 语句自动释放(某些 spawn 场景下上下文管理器失效)
from multiprocessing import Process, Value, Lock
<p>def worker(shared<em>counter, lock):
for </em> in range(1000):
with lock:  # 安全递增
shared_counter.value += 1</p><p>if <strong>name</strong> == '<strong>main</strong>':
counter = Value('i', 0)
lock = Lock()
processes = [Process(target=worker, args=(counter, lock)) for _ in range(4)]
for p in processes:
p.start()
for p in processes:
p.join()
print(counter.value)  # 输出 4000</p>

真正难的从来不是启动几个进程,而是判断哪些数据必须隔离、哪些可以共享、共享时要不要加锁、加锁会不会拖慢整体吞吐——这些决策没标准答案,得看你的数据规模、CPU 密集度、IO 占比和错误容忍度。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

847

2023.08.22

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

95

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

106

2025.09.18

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

215

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

192

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

61

2026.01.05

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

37

2026.03.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.6万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号