0

0

asyncio.Semaphore 如何与限流装饰器结合限并发

舞夢輝影

舞夢輝影

发布时间:2026-01-27 09:57:09

|

809人浏览过

|

来源于php中文网

原创

应使用 async with semaphore 而非手动 acquire()/release(),因其自动异常安全释放;装饰器须为异步函数并接收预创建的 Semaphore 实例,避免新建或闭包共享;FastAPI 中推荐依赖注入替代装饰器。

asyncio.semaphore 如何与限流装饰器结合限并发

限流装饰器里直接 await semaphore.acquire() 会出错

因为 acquire() 是协程函数,不能在同步装饰器里直接调用。常见错误是写成 semaphore.acquire()(漏掉 await),结果返回一个协程对象而非布尔值,后续逻辑崩掉;或者强行 await 在普通函数里,触发 RuntimeError: await outside async function

  • 装饰器本身必须是异步的(即返回 async def 包裹的协程),或用 functools.wraps + asyncio.create_task 做调度层包装
  • 信号量实例需在事件循环生命周期内共享,不能每次装饰都新建 asyncio.Semaphore(5),否则限流失效
  • 推荐把 semaphore 作为参数传入装饰器工厂,而非闭包捕获——避免多个装饰器实例误用同一变量引发竞态

用 async def 装饰器工厂实现可配置限流

这是最清晰、易测、可复用的方式。装饰器不自己管理信号量,而是接收一个已初始化的 semaphore 实例:

import asyncio
from functools import wraps

def with_semaphore(semaphore): def decorator(func): @wraps(func) async def wrapper(*args, *kwargs): async with semaphore: # 自动 acquire/release,含异常安全 return await func(args, **kwargs) return wrapper return decorator

全局信号量(按业务场景统一管理)

api_semaphore = asyncio.Semaphore(3)

@with_semaphore(api_semaphore) async def fetch_user(user_id: int): await asyncio.sleep(0.5) return {"id": user_id, "name": "alice"}

  • async with semaphore 是唯一推荐方式:它隐式调用 acquire()release(),即使 func 抛异常也保证释放
  • 若需区分不同接口的并发上限(如 /users 限 3,/orders 限 10),就定义多个 semaphore 实例,分别传给对应装饰器
  • 别在装饰器里做 await asyncio.sleep() 或其他 I/O —— 它只负责准入控制,逻辑应下沉到被装饰函数中

FastAPI 路由中用依赖注入更自然

在 FastAPI 这类框架里,硬套装饰器反而绕路。直接用 Depends 注入带信号量的依赖,语义更正、测试更方便:

标小兔AI写标书
标小兔AI写标书

一款专业的标书AI代写平台,提供专业AI标书代写服务,安全、稳定、速度快,可满足各类招投标需求,标小兔,写标书,快如兔。

下载
from fastapi import Depends, FastAPI
import asyncio

app = FastAPI() sem = asyncio.Semaphore(5)

async def rate_limited(): async with sem: yield

@app.get("/data") async def getdata( = Depends(rate_limited)): return {"status": "ok"}

  • 依赖函数 rate_limited 返回的是上下文管理器,Depends 会自动 await 并清理
  • 这种方式天然支持作用域scope="request"),且可与 BackgroundTasks、中间件等正交组合
  • 如果需要动态限流(如按用户 token 限频),就别用全局 semaphore,改用字典缓存 per-user 的 asyncio.Semaphore 实例,但要注意内存泄漏和过期清理

手动 acquire/release 的坑比你想象得多

有人为了“灵活控制”,放弃 async with,改用手动 acquire() + try/finally release()。这在简单场景看似可控,但极易出错:

  • 一旦 func 内部抛出未捕获异常,finally 可能来不及执行,导致信号量永久卡死(死锁)
  • 协程取消(asyncio.CancelledError)时,finally 不一定运行,release() 就丢了
  • acquire() 本身可能被取消 —— 它返回一个可等待对象,若在等待期间被 cancel,不会自动回滚计数器
  • 结论:除非你真需要在 acquire() 后、执行前插入日志或审计逻辑,否则一律用 async with。它不是语法糖,是安全边界。

信号量不是魔法,它只管“进来的数量”,不管“出去的速度”。如果你的协程平均耗时翻倍,而并发数没调低,排队延迟就会指数上升——这点常被忽略。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

178

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

214

2025.12.18

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6141

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

816

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1065

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1315

2024.03.01

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1076

2023.10.19

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

6

2026.01.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 51.8万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号