0

0

Python 协程并发数控制的实现方法

舞夢輝影

舞夢輝影

发布时间:2026-02-22 20:45:13

|

450人浏览过

|

来源于php中文网

原创

若协程并发失控导致资源耗尽或事件循环阻塞,需限制并发数:一、用 asyncio.semaphore 控制同时执行数量;二、用 asyncio.queue 构建固定大小任务队列;三、用 aiohttp.tcpconnector 的 limit 参数限制 http 连接数;四、手动维护计数器与任务队列实现动态调度。

python 协程并发数控制的实现方法

如果您在使用 Python 协程处理大量并发任务时遇到资源耗尽、响应延迟或事件循环阻塞等问题,则很可能是由于未对并发数进行有效限制。以下是实现协程并发数控制的几种方法:

一、使用 asyncio.Semaphore 控制并发数量

asyncio.Semaphore 是 asyncio 提供的信号量机制,用于限制同时执行的协程数量。它通过内部计数器管理许可数量,当协程获取许可失败时会自动挂起,待有许可释放后再恢复执行。

1、在事件循环作用域内创建一个 Semaphore 实例,指定最大并发数,例如 asyncio.Semaphore(5)。

2、在每个需要限制并发的协程中,使用 async with semaphore: 语句包裹实际异步操作。

立即学习Python免费学习笔记(深入)”;

3、确保所有受控协程共享同一个 semaphore 实例,避免各自创建导致限制失效。

二、使用 asyncio.Queue 构建固定大小的任务队列

asyncio.Queue 可设置最大容量,配合生产者-消费者模式可间接控制并发数。当队列满时,put() 操作将等待,从而暂停新任务的提交,使活跃协程数稳定在预设上限附近。

1、初始化一个 asyncio.Queue(maxsize=N),其中 N 为期望的最大并发任务数。

2、启动 N 个长期运行的消费者协程,每个协程持续从队列中 get() 任务并执行。

3、生产者协程调用 queue.put() 提交任务;当队列已满时,该调用将自动挂起,直到有消费者完成并调用 get() 释放空间。

三、使用第三方库 aiohttp.TCPConnector 的 limit 参数

当使用 aiohttp 进行 HTTP 请求并发控制时,TCPConnector 提供了内置的连接池限制能力。该参数直接约束底层 TCP 连接的并发总数,适用于以 HTTP I/O 为主的场景。

eSiteGroup站群管理系统1.0.4
eSiteGroup站群管理系统1.0.4

eSiteGroup站群管理系统是基于eFramework低代码开发平台构建,是一款高度灵活、可扩展的智能化站群管理解决方案,全面支持SQL Server、SQLite、MySQL、Oracle等主流数据库,适配企业级高并发、轻量级本地化、云端分布式等多种部署场景。通过可视化建模与模块化设计,系统可实现多站点的快速搭建、跨平台协同管理及数据智能分析,满足政府、企业、教育机构等组织对多站点统一管控的

下载

1、创建 connector 实例时传入 limit 参数,如 aiohttp.TCPConnector(limit=10)。

2、将该 connector 传入 aiohttp.ClientSession 的 constructor 中。

3、所有通过该 session 发起的请求将被自动限流,超出 limit 的请求会在连接就绪后排队发起。

四、手动维护运行中协程计数器与 awaitable 队列

通过 asyncio.create_task() 显式启动协程,并借助 asyncio.wait() 或 asyncio.as_completed() 监控完成状态,配合计数器动态调度新任务,可实现细粒度的并发控制逻辑。

1、初始化一个整数变量 running_count = 0 和一个待执行任务列表 tasks_to_submit。

2、当 running_count

3、使用 asyncio.wait(tasks, return_when=asyncio.FIRST_COMPLETED) 获取首个完成任务,完成后 running_count -= 1,并视情况提交新任务。

五、使用 asyncio.to_thread 配合 concurrent.futures.ThreadPoolExecutor 的 max_workers

对于需在协程中调用阻塞函数的场景,可通过 to_thread 将其转为线程执行,此时由 ThreadPoolExecutor 的 max_workers 参数控制并发线程数,从而间接约束协程层的并发压力。

1、创建 ThreadPoolExecutor 实例并指定 max_workers=N,例如 concurrent.futures.ThreadPoolExecutor(max_workers=4)。

2、在协程中调用 asyncio.to_thread(executor.submit, blocking_func, *args) 提交任务。

3、确保 executor 实例在生命周期内复用,避免重复创建导致 max_workers 失效;注意:executor 必须在事件循环运行期间保持存活,不可在每次调用时新建

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

330

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

773

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

695

2023.08.10

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

470

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

442

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

3118

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2656

2024.08.16

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1030

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号