0

0

如何用 asyncio.Semaphore 限制并发任务数量

舞姬之光

舞姬之光

发布时间:2026-01-20 18:15:46

|

844人浏览过

|

来源于php中文网

原创

asyncio.Semaphore通过acquire/release机制控制并发数,需在协程外统一创建并共享;推荐用async with自动管理;BoundedSemaphore可防止非法release导致计数错误。

如何用 asyncio.semaphore 限制并发任务数量

asyncio.Semaphore 限制并发任务数量,核心是让每个协程在执行前先“申请许可”,拿到信号量才运行,完成后释放,从而控制同时运行的任务数。

创建并使用信号量控制并发数

初始化一个 Semaphore,传入最大允许的并发数量(比如 3),然后在协程中用 async with semaphore: 语句自动获取和释放。

  • 信号量初始值即为最大并发数,每次 acquire() 成功就减 1,release() 加 1
  • async with semaphore: 是推荐写法,确保异常时也能释放,避免死锁
  • 所有需要限流的协程都必须共用同一个 Semaphore 实例

典型用法示例

假设要并发请求 10 个 URL,但最多只允许 3 个 HTTP 请求同时发出:

import asyncio
import aiohttp

async def fetch(session, url, semaphore): async with semaphore: # 这里会阻塞直到有空闲许可 async with session.get(url) as response: return await response.text()

async def main(): semaphore = asyncio.Semaphore(3) # 最多 3 个并发 urls = [f"https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c"] * 10

async with aiohttp.ClientSession() as session:
    tasks = [fetch(session, url, semaphore) for url in urls]
    results = await asyncio.gather(*tasks)
return results

宽维企业网站管理系统4.0
宽维企业网站管理系统4.0

宽维企业网站管理系统功能说明宽维系列网站管理系统全面免费,个人和商业应用均免费。宽维企业网站管理系统是基于Php+MySql技术开发的企业电子商务平台,全后台操作,无需学习网页制作等知识。前台智能生成页面,可以方便地在线管理、维护、更新您的企业网站。宽维企业网站管理系统安装简单快捷,5分钟就可以安装完成。1 栏目管理方便灵活:可以发布和管理您需要的任何内容的个性栏目。内置数十个功能发布模型,并可以

下载

注意共享作用域和生命周期

信号量必须在所有目标协程可见的作用域内创建,且不能在循环内部重复新建:

  • ❌ 错误:在 for 循环里每次 new 一个 Semaphore(3) → 完全失去限流效果
  • ✅ 正确:在 main() 或更高层创建一次,作为参数传入或通过闭包共享
  • 如果协程分布在不同模块或类中,可通过依赖注入、全局变量(不推荐)或上下文传递

与 asyncio.BoundedSemaphore 的区别

普通 Semaphore 允许 release() 次数超过初始值,而 BoundedSemaphore 会检查是否超出上限,防止误调用导致计数错乱:

  • 日常限流用 Semaphore 足够,只要确保每次 acquire() 都配对 async with 或手动 release()
  • 逻辑复杂、可能多次释放时,用 BoundedSemaphore 更安全,它会在非法 release() 时抛出 ValueError

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

78

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

96

2025.09.18

go语言闭包相关教程大全
go语言闭包相关教程大全

本专题整合了go语言闭包相关数据,阅读专题下面的文章了解更多相关内容。

135

2025.07.29

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

373

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

411

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

1963

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1998

2024.08.16

Java JVM 原理与性能调优实战
Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机(JVM)的核心工作原理与性能调优方法,包括 JVM 内存结构、对象创建与回收流程、垃圾回收器(Serial、CMS、G1、ZGC)对比分析、常见内存泄漏与性能瓶颈排查,以及 JVM 参数调优与监控工具(jstat、jmap、jvisualvm)的实战使用。通过真实案例,帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

4

2026.01.20

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

55

2026.01.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Laravel 5.8 中文文档手册
Laravel 5.8 中文文档手册

共74课时 | 85.9万人学习

SESSION实现登录与验证
SESSION实现登录与验证

共10课时 | 9.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号