0

0

Python run_in_executor 的默认线程池复用

冷炫風刃

冷炫風刃

发布时间:2026-02-13 21:42:09

|

952人浏览过

|

来源于php中文网

原创

默认使用 asyncio 内部维护的全局 threadpoolexecutor 实例,懒初始化,最大线程数为 min(32, os.cpu_count() + 4),所有未显式传入 executor 的 run_in_executor 调用均共享该池。

python run_in_executor 的默认线程池复用

run_in_executor 默认用的是哪个线程池

Python 的 asyncio.loop.run_in_executor 不创建新线程池,而是复用 concurrent.futures.ThreadPoolExecutor 的默认实例——也就是 asyncio 内部维护的全局线程池,最大线程数通常为 min(32, os.cpu_count() + 4)(CPython 3.8+)。

这个池子在事件循环首次调用 run_in_executor 时懒初始化,之后所有未显式传入 executor 参数的调用都共享它。

  • 你不能靠多次调用 run_in_executor 自动获得“隔离”的线程资源
  • 如果某次提交的任务长期阻塞(比如没设 timeout 的 requests.get),会吃掉池中线程,拖慢后续所有异步任务的执行响应
  • asyncio.get_event_loop().set_default_executor(...) 可以替换它,但极少有人这么做,且只影响当前 loop

为什么不能假设每次 run_in_executor 都开新线程

线程池复用是设计使然,不是 bug。它的目标是避免频繁创建/销毁线程的开销,但代价是资源竞争和任务间隐式耦合。

典型误判场景:以为「A 任务耗时 10s」和「B 任务耗时 100ms」互不影响——实际上如果池只有 4 个线程,而 A 占了 3 个,B 就得排队等。

立即学习Python免费学习笔记(深入)”;

  • 池大小不随负载动态伸缩,固定上限
  • 没有任务优先级、超时控制或取消支持(Future.cancel() 在运行中任务上基本无效)
  • 异常不会自动传播到调用方,除非你 await 返回的 Future

什么时候该自己传 executor 而不是依赖默认池

当你需要控制并发粒度、隔离关键路径、或规避默认池的不可控行为时,必须显式构造 ThreadPoolExecutor 并传给 run_in_executor

Gaga
Gaga

曹越团队开发的AI视频生成工具

下载

常见适用点:

  • IO 密集型短任务(如小文件读写)→ 用小池(max_workers=4)防抢占
  • CPU 密集型任务(如 math.factorial(10**5))→ 必须用 ProcessPoolExecutor,否则白搭 async
  • 有明确 timeout 或 cancel 需求 → 自建池 + 包装成可中断的 Future(需额外逻辑)
  • 多个服务模块共用一个 event loop → 各自用独立 executor,避免互相卡死

示例:

from concurrent.futures import ThreadPoolExecutor<br>executor = ThreadPoolExecutor(max_workers=2)<br>await loop.run_in_executor(executor, some_blocking_func)

默认池的生命周期和关闭风险

默认线程池由 asyncio 管理,事件循环关闭时会尝试 shutdown(wait=True),但实际行为取决于 Python 版本和 loop 实现(尤其是 uvloop)。它不会主动清理正在运行的线程,也不会等所有任务完成才退出。

后果很直接:

  • 程序退出时若还有任务在默认池中运行,可能被强制终止,引发 RuntimeError 或静默丢任务
  • 测试中反复创建/关闭 loop 容易触发 BrokenThreadPoolShutdownError
  • Web 框架(如 FastAPI)里依赖默认池做 blocking IO,重启时若没等池清空,下次启动可能拿到已 shutdown 的 executor

真正安全的做法:自己管理 executor 生命周期,用 atexit 或框架钩子显式 shutdown(),而不是指望默认池“自己会处理好”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

156

2026.02.06

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

673

2023.08.10

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

22

2026.02.13

微博网页版主页入口与登录指南_官方网页端快速访问方法
微博网页版主页入口与登录指南_官方网页端快速访问方法

本专题系统整理微博网页版官方入口及网页端登录方式,涵盖首页直达地址、账号登录流程与常见访问问题说明,帮助用户快速找到微博官网主页,实现便捷、安全的网页端登录与内容浏览体验。

11

2026.02.13

Flutter跨平台开发与状态管理实战
Flutter跨平台开发与状态管理实战

本专题围绕Flutter框架展开,系统讲解跨平台UI构建原理与状态管理方案。内容涵盖Widget生命周期、路由管理、Provider与Bloc状态管理模式、网络请求封装及性能优化技巧。通过实战项目演示,帮助开发者构建流畅、可维护的跨平台移动应用。

7

2026.02.13

TypeScript工程化开发与Vite构建优化实践
TypeScript工程化开发与Vite构建优化实践

本专题面向前端开发者,深入讲解 TypeScript 类型系统与大型项目结构设计方法,并结合 Vite 构建工具优化前端工程化流程。内容包括模块化设计、类型声明管理、代码分割、热更新原理以及构建性能调优。通过完整项目示例,帮助开发者提升代码可维护性与开发效率。

8

2026.02.13

Redis高可用架构与分布式缓存实战
Redis高可用架构与分布式缓存实战

本专题围绕 Redis 在高并发系统中的应用展开,系统讲解主从复制、哨兵机制、Cluster 集群模式及数据分片原理。内容涵盖缓存穿透与雪崩解决方案、分布式锁实现、热点数据优化及持久化策略。通过真实业务场景演示,帮助开发者构建高可用、可扩展的分布式缓存系统。

3

2026.02.13

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

26

2026.02.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号