0

0

asyncio.Semaphore 如何与限流装饰器结合限并发

舞夢輝影

舞夢輝影

发布时间:2026-01-27 09:57:09

|

809人浏览过

|

来源于php中文网

原创

应使用 async with semaphore 而非手动 acquire()/release(),因其自动异常安全释放;装饰器须为异步函数并接收预创建的 Semaphore 实例,避免新建或闭包共享;FastAPI 中推荐依赖注入替代装饰器。

asyncio.semaphore 如何与限流装饰器结合限并发

限流装饰器里直接 await semaphore.acquire() 会出错

因为 acquire() 是协程函数,不能在同步装饰器里直接调用。常见错误是写成 semaphore.acquire()(漏掉 await),结果返回一个协程对象而非布尔值,后续逻辑崩掉;或者强行 await 在普通函数里,触发 RuntimeError: await outside async function

  • 装饰器本身必须是异步的(即返回 async def 包裹的协程),或用 functools.wraps + asyncio.create_task 做调度层包装
  • 信号量实例需在事件循环生命周期内共享,不能每次装饰都新建 asyncio.Semaphore(5),否则限流失效
  • 推荐把 semaphore 作为参数传入装饰器工厂,而非闭包捕获——避免多个装饰器实例误用同一变量引发竞态

用 async def 装饰器工厂实现可配置限流

这是最清晰、易测、可复用的方式。装饰器不自己管理信号量,而是接收一个已初始化的 semaphore 实例:

import asyncio
from functools import wraps
<p>def with_semaphore(semaphore):
def decorator(func):
@wraps(func)
async def wrapper(*args, *<em>kwargs):
async with semaphore:  # 自动 acquire/release,含异常安全
return await func(</em>args, **kwargs)
return wrapper
return decorator</p><h1>全局信号量(按业务场景统一管理)</h1><p>api_semaphore = asyncio.Semaphore(3)</p><p>@with_semaphore(api_semaphore)
async def fetch_user(user_id: int):
await asyncio.sleep(0.5)
return {"id": user_id, "name": "alice"}
  • async with semaphore 是唯一推荐方式:它隐式调用 acquire()release(),即使 func 抛异常也保证释放
  • 若需区分不同接口的并发上限(如 /users 限 3,/orders 限 10),就定义多个 semaphore 实例,分别传给对应装饰器
  • 别在装饰器里做 await asyncio.sleep() 或其他 I/O —— 它只负责准入控制,逻辑应下沉到被装饰函数中

FastAPI 路由中用依赖注入更自然

在 FastAPI 这类框架里,硬套装饰器反而绕路。直接用 Depends 注入带信号量的依赖,语义更正、测试更方便:

吐槽大师
吐槽大师

吐槽大师(Roast Master) - 终极 AI 吐槽生成器,适用于 Instagram,Facebook,Twitter,Threads 和 Linkedin

下载
from fastapi import Depends, FastAPI
import asyncio
<p>app = FastAPI()
sem = asyncio.Semaphore(5)</p><p>async def rate_limited():
async with sem:
yield</p><p>@app.get("/data")
async def get<em>data(</em> = Depends(rate_limited)):
return {"status": "ok"}
  • 依赖函数 rate_limited 返回的是上下文管理器,Depends 会自动 await 并清理
  • 这种方式天然支持作用域scope="request"),且可与 BackgroundTasks、中间件等正交组合
  • 如果需要动态限流(如按用户 token 限频),就别用全局 semaphore,改用字典缓存 per-user 的 asyncio.Semaphore 实例,但要注意内存泄漏和过期清理

手动 acquire/release 的坑比你想象得多

有人为了“灵活控制”,放弃 async with,改用手动 acquire() + try/finally release()。这在简单场景看似可控,但极易出错:

  • 一旦 func 内部抛出未捕获异常,finally 可能来不及执行,导致信号量永久卡死(死锁)
  • 协程取消(asyncio.CancelledError)时,finally 不一定运行,release() 就丢了
  • acquire() 本身可能被取消 —— 它返回一个可等待对象,若在等待期间被 cancel,不会自动回滚计数器
  • 结论:除非你真需要在 acquire() 后、执行前插入日志或审计逻辑,否则一律用 async with。它不是语法糖,是安全边界。

信号量不是魔法,它只管“进来的数量”,不管“出去的速度”。如果你的协程平均耗时翻倍,而并发数没调低,排队延迟就会指数上升——这点常被忽略。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

183

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

226

2025.12.18

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

251

2026.02.06

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6630

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

843

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1092

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

2199

2024.03.01

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 81.8万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号