0

0

如何用 asyncio.Semaphore 限制并发任务数量

舞姬之光

舞姬之光

发布时间:2026-01-20 18:15:46

|

844人浏览过

|

来源于php中文网

原创

asyncio.Semaphore通过acquire/release机制控制并发数,需在协程外统一创建并共享;推荐用async with自动管理;BoundedSemaphore可防止非法release导致计数错误。

如何用 asyncio.semaphore 限制并发任务数量

asyncio.Semaphore 限制并发任务数量,核心是让每个协程在执行前先“申请许可”,拿到信号量才运行,完成后释放,从而控制同时运行的任务数。

创建并使用信号量控制并发数

初始化一个 Semaphore,传入最大允许的并发数量(比如 3),然后在协程中用 async with semaphore: 语句自动获取和释放。

  • 信号量初始值即为最大并发数,每次 acquire() 成功就减 1,release() 加 1
  • async with semaphore: 是推荐写法,确保异常时也能释放,避免死锁
  • 所有需要限流的协程都必须共用同一个 Semaphore 实例

典型用法示例

假设要并发请求 10 个 URL,但最多只允许 3 个 HTTP 请求同时发出:

import asyncio
import aiohttp
<p>async def fetch(session, url, semaphore):
async with semaphore:  # 这里会阻塞直到有空闲许可
async with session.get(url) as response:
return await response.text()</p><p>async def main():
semaphore = asyncio.Semaphore(3)  # 最多 3 个并发
urls = [f"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>"] * 10</p><pre class="brush:php;toolbar:false;">async with aiohttp.ClientSession() as session:
    tasks = [fetch(session, url, semaphore) for url in urls]
    results = await asyncio.gather(*tasks)
return results

阿里云AI平台
阿里云AI平台

阿里云AI平台

下载

注意共享作用域和生命周期

信号量必须在所有目标协程可见的作用域内创建,且不能在循环内部重复新建:

  • ❌ 错误:在 for 循环里每次 new 一个 Semaphore(3) → 完全失去限流效果
  • ✅ 正确:在 main() 或更高层创建一次,作为参数传入或通过闭包共享
  • 如果协程分布在不同模块或类中,可通过依赖注入、全局变量(不推荐)或上下文传递

与 asyncio.BoundedSemaphore 的区别

普通 Semaphore 允许 release() 次数超过初始值,而 BoundedSemaphore 会检查是否超出上限,防止误调用导致计数错乱:

  • 日常限流用 Semaphore 足够,只要确保每次 acquire() 都配对 async with 或手动 release()
  • 逻辑复杂、可能多次释放时,用 BoundedSemaphore 更安全,它会在非法 release() 时抛出 ValueError

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

95

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

106

2025.09.18

go语言闭包相关教程大全
go语言闭包相关教程大全

本专题整合了go语言闭包相关数据,阅读专题下面的文章了解更多相关内容。

153

2025.07.29

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

496

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

452

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

3598

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2917

2024.08.16

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

25

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

44

2026.03.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Laravel 5.8 中文文档手册
Laravel 5.8 中文文档手册

共74课时 | 100.1万人学习

SESSION实现登录与验证
SESSION实现登录与验证

共10课时 | 9.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号