0

0

Python 异步队列 asyncio.Queue 的应用

冰川箭仙

冰川箭仙

发布时间:2026-02-20 18:49:02

|

945人浏览过

|

来源于php中文网

原创

asyncio.queue是python中用于协程间安全传递数据的标准异步队列,支持生产者-消费者模型、并发限制、异常传递、超时控制及动态任务调度。

python 异步队列 asyncio.queue 的应用

如果您在使用 Python 编写高并发异步任务时需要安全地在协程间传递数据,则 asyncio.Queue 是 asyncio 提供的标准异步队列实现。以下是其典型应用场景与使用方式:

一、基本生产者-消费者模型

asyncio.Queue 专为协程环境设计,内部自动处理 await 等待逻辑,避免竞态条件,适用于多个协程并发读写场景。它支持 await queue.put() 和 await queue.get(),且具备阻塞式等待能力。

1、创建一个容量为 5 的异步队列:queue = asyncio.Queue(maxsize=5)

2、定义异步生产者协程,在循环中调用 await queue.put(item) 插入数据

立即学习Python免费学习笔记(深入)”;

3、定义异步消费者协程,通过 await queue.get() 获取数据,并在处理完毕后调用 queue.task_done()

4、使用 await queue.join() 阻塞等待所有已放入队列的任务被消费者处理完成

二、限制并发数量的异步任务调度

通过控制队列容量与消费者数量,可硬性限制同时运行的异步任务数,防止资源耗尽或触发限流。队列充当缓冲区与节流阀双重角色。

1、初始化一个 maxsize=3 的队列:semaphore_queue = asyncio.Queue(maxsize=3)

2、每个待执行的异步任务先 await semaphore_queue.put(None) 占位

3、执行实际业务逻辑后,立即调用 semaphore_queue.get_nowait()semaphore_queue.task_done()

4、启动固定数量(如 3 个)消费者协程持续从该队列取值,确保任意时刻最多 3 个任务处于活跃状态

三、跨协程传递异常与终止信号

asyncio.Queue 可承载任意 Python 对象,包括 Exception 实例或自定义哨兵对象,用于协调协程生命周期与错误传播。

1、定义哨兵值:STOP_SIGNAL = object()

狸谱App
狸谱App

AI壁纸漫画梗图,年轻人的抽象创作社区

下载

2、生产者在完成数据生成后,向队列放入 await queue.put(STOP_SIGNAL)

3、消费者每次 await queue.get() 后判断是否为哨兵,若是则 break 退出循环

4、当需传递异常时,生产者可放入 await queue.put(RuntimeError("failed")),消费者捕获后重新抛出

四、带超时控制的数据获取

为避免协程无限等待队列数据,可结合 asyncio.wait_for 使用,对 get 操作施加时间约束,提升系统响应确定性。

1、准备队列并启动生产者协程填充数据

2、在消费者中使用:try: item = await asyncio.wait_for(queue.get(), timeout=2.0) except asyncio.TimeoutError: print("等待数据超时")

3、成功获取后必须调用 queue.task_done(),否则 join 将无法完成

4、timeout 值应根据业务延迟特征设定,不能设为 0 或负数

五、与 asyncio.create_task 配合实现动态工作流

利用 Queue 在运行时接收新任务描述,使工作流具备动态扩展能力,适用于事件驱动型异步服务。

1、启动主调度协程,持续 await queue.get() 获取任务配置字典

2、解析配置后调用 asyncio.create_task(worker_func(**config)) 启动子协程

3、子协程执行完毕后,将结果写入另一个输出队列:await result_queue.put(result)

4、主协程不等待子任务完成,仅负责分发;可通过额外协程监听 result_queue 收集汇总

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

13

2026.02.03

java中break的作用
java中break的作用

本专题整合了java中break的用法教程,阅读专题下面的文章了解更多详细内容。

120

2025.10.15

java break和continue
java break和continue

本专题整合了java break和continue的区别相关内容,阅读专题下面的文章了解更多详细内容。

259

2025.10.24

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

微博网页版主页入口与登录指南_官方网页端快速访问方法
微博网页版主页入口与登录指南_官方网页端快速访问方法

本专题系统整理微博网页版官方入口及网页端登录方式,涵盖首页直达地址、账号登录流程与常见访问问题说明,帮助用户快速找到微博官网主页,实现便捷、安全的网页端登录与内容浏览体验。

247

2026.02.13

Flutter跨平台开发与状态管理实战
Flutter跨平台开发与状态管理实战

本专题围绕Flutter框架展开,系统讲解跨平台UI构建原理与状态管理方案。内容涵盖Widget生命周期、路由管理、Provider与Bloc状态管理模式、网络请求封装及性能优化技巧。通过实战项目演示,帮助开发者构建流畅、可维护的跨平台移动应用。

141

2026.02.13

TypeScript工程化开发与Vite构建优化实践
TypeScript工程化开发与Vite构建优化实践

本专题面向前端开发者,深入讲解 TypeScript 类型系统与大型项目结构设计方法,并结合 Vite 构建工具优化前端工程化流程。内容包括模块化设计、类型声明管理、代码分割、热更新原理以及构建性能调优。通过完整项目示例,帮助开发者提升代码可维护性与开发效率。

24

2026.02.13

Redis高可用架构与分布式缓存实战
Redis高可用架构与分布式缓存实战

本专题围绕 Redis 在高并发系统中的应用展开,系统讲解主从复制、哨兵机制、Cluster 集群模式及数据分片原理。内容涵盖缓存穿透与雪崩解决方案、分布式锁实现、热点数据优化及持久化策略。通过真实业务场景演示,帮助开发者构建高可用、可扩展的分布式缓存系统。

69

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号