0

0

Python怎么混合多进程与异步_ProcessPoolExecutor与asyncio结合打通CPU密集与IO密集

P粉602998670

P粉602998670

发布时间:2026-03-14 14:13:31

|

488人浏览过

|

来源于php中文网

原创

asyncio.run()中不能直接await ProcessPoolExecutor.submit(),因其返回concurrent.futures.Future;应使用loop.run_in_executor()包装,配合with管理生命周期,并用asyncio.wait_for()控制超时。

python怎么混合多进程与异步_processpoolexecutor与asyncio结合打通cpu密集与io密集

asyncio.run() 里直接 await ProcessPoolExecutor.submit() 会卡死

因为 ProcessPoolExecutorsubmit() 返回的是 concurrent.futures.Future,不是 asyncio.Future,不能直接 await。强行 await 会导致事件循环挂起,程序看似运行但无响应。

正确做法是用 loop.run_in_executor() 包一层:

import asyncio
from concurrent.futures import ProcessPoolExecutor
<p>def cpu_heavy(x):
return x ** 42</p><p>async def main():
loop = asyncio.get_running_loop()
with ProcessPoolExecutor() as pool:</p><h1>✅ 正确:交给 loop 调度,返回真正的 awaitable</h1><pre class='brush:python;toolbar:false;'>    result = await loop.run_in_executor(pool, cpu_heavy, 123)
    print(result)</pre>
  • 必须传入正在运行的 event loop 实例(asyncio.get_running_loop()),不能新建 new_event_loop()
  • run_in_executor() 第二个参数是函数名,后续参数是它的实参,不要加括号调用
  • 如果函数需要传入多个参数,用 lambdafunctools.partial 封装,避免在主线程提前执行

为什么不用 asyncio.to_thread() 替代?

asyncio.to_thread() 是 Python 3.9+ 提供的轻量封装,但它只支持线程池(ThreadPoolExecutor),**不支持进程池**。对 CPU 密集任务,用线程池没意义——GIL 会锁死,无法真正并行。

  • IO 密集、调用阻塞库(如旧版 requests)、或需简单并发时,to_thread() 更简洁
  • CPU 密集任务必须用 ProcessPoolExecutor + run_in_executor()
  • 混用场景常见于:异步收请求 → 进程池算模型 → 异步写数据库 → 异步发通知

进程池实例该在哪里创建和关闭?

不能在每个协程里反复 ProcessPoolExecutor(),开销大且易触发“too many open files”;也不能全局单例长期持有,容易在 reload 或测试中残留子进程。

Napkin AI
Napkin AI

Napkin AI 可以将您的文本转换为图表、流程图、信息图、思维导图视觉效果,以便快速有效地分享您的想法。

下载

立即学习Python免费学习笔记(深入)”;

  • 推荐在顶层 async context(如 async with)或生命周期明确的 scope 中管理,例如 FastAPI 的 lifespan 或主 async def main() 里用 with
  • 若需复用,把 ProcessPoolExecutor 实例作为参数传入协程,或通过依赖注入(如 asyncpg.Pool 那样)
  • 注意:ProcessPoolExecutor 不是 awaitable,不能用 async with,只能用普通 with 配合 run_in_executor

子进程抛异常,主协程怎么捕获?

子进程崩溃、超时或函数抛出异常,会以 concurrent.futures.ProcessPoolExecutor 的方式包装后,原样抛到 await 处——但类型是 concurrent.futures.process.BrokenProcessPool 或原始异常(如 ValueError),不是 asyncio.CancelledError

  • 直接用 try/except 捕获,不需要特殊转换
  • 超时控制靠 asyncio.wait_for(),不是 executor.submit(..., timeout=)(后者在子进程内无效)
  • 示例:
    try:
        result = await asyncio.wait_for(
            loop.run_in_executor(pool, cpu_heavy, 123),
            timeout=5.0
        )
    except asyncio.TimeoutError:
        print("计算超时")
    except ValueError as e:
        print("子进程报了 ValueError:", e)

子进程 stderr 不会自动透出到主进程日志,调试时建议在 CPU 函数里加 print() 或用 logging 输出到文件。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

253

2026.02.06

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

193

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

19

2026.02.03

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

215

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

193

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

61

2026.01.05

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

766

2023.08.10

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

49

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号