0

0

Python Barrier 在异步任务同步中的作用

舞夢輝影

舞夢輝影

发布时间:2026-02-17 14:28:02

|

901人浏览过

|

来源于php中文网

原创

asyncio 中没有原生 barrier,因 threading.barrier 依赖线程阻塞,与协程模型冲突;推荐用 asyncio.event(配合计数)或 asyncio.semaphore+event 组合模拟,python 3.12+ 的 asyncio.barrier 尚未公开,trio.barrier 是更优替代但需切换运行时。

python barrier 在异步任务同步中的作用

Barrier 在 asyncio 里根本不能用

Python 标准库的 threading.Barrier 是为多线程设计的,它内部依赖线程阻塞(比如 wait() 会挂起当前线程),而 asyncio 的协程不能在线程阻塞点暂停——一旦调用,直接抛出 RuntimeError: cannot wait on a thread-blocking object in an async context。这不是配置问题,是模型冲突。

常见错误现象:await barrier.wait() 报错;或误以为加了 async 就能包装成协程,结果发现 Barrier 类本身没提供异步接口。

  • 别试图给 threading.Barrierloop.run_in_executor 包装——开销大、状态难同步、竞态更隐蔽
  • 不要查 “asyncio Barrier” 然后抄到旧版第三方库(如早期 aiostream 的实验性实现),它们大多已弃用或不兼容 Python 3.11+
  • 真正需要的是协程原生可等待的同步原语,不是线程原语的“翻译”

asyncio.Event 是最常用的替代方案

asyncio.Event 不是“等所有任务到达”,而是“等某个条件被设为 True”,但它足够灵活,能模拟 Barrier 行为:让 N 个协程都 await event.wait(),第 N 个协程负责 event.set(),再立刻 event.clear() 为下一轮准备。

使用场景:多个异步任务必须齐步进入下一阶段(比如批量采集后统一解析、分布式 worker 等待 leader 发号施令)。

立即学习Python免费学习笔记(深入)”;

性能影响很小,Event 是纯协程对象,无系统调用,无锁竞争;但要注意手动计数和重置逻辑,否则容易漏清或重复触发。

php中级教程之ajax技术
php中级教程之ajax技术

AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。它不是新的编程语言,而是一种使用现有标准的新方法,最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新部分网页内容,不需要任何浏览器插件,但需要用户允许JavaScript在浏览器上执行。《php中级教程之ajax技术》带你快速

下载
# 示例:等待 3 个协程全部就绪
import asyncio
<p>counter = 0
total = 3
ready_event = asyncio.Event()</p><p>async def worker(name):
global counter
print(f"{name} ready")
counter += 1
if counter == total:
ready_event.set()
await ready_event.wait()
print(f"{name} proceeds")</p><h1>启动三个 worker,它们会在全部打印 ready 后才继续</h1>

需要严格计数?用 asyncio.Semaphore + asyncio.Event 组合

asyncio.Semaphore 控制并发数,asyncio.Event 控制同步点——两者组合才能安全实现“N 个协程同时通过一个关卡”。单独用 Semaphore 只能限流,无法保证“全部到达后才一起走”。

容易踩的坑:Semaphoreacquire() 是协程方法,必须 await;但它的计数是“进入关卡”,不是“离开”,所以需额外变量跟踪完成数,或用 asyncio.Queue 收集信号。

  • 别在 finally 块里盲目 release() ——如果协程因异常退出,可能破坏计数
  • 避免用全局变量做计数器,跨 task 不安全;推荐用闭包或类封装状态
  • Python 3.12+ 提供了 asyncio.Barrier(仍在 asyncio._core 内部,未公开),别依赖它

第三方方案:trio 的 Barrier 更接近直觉

如果你能切换运行时,trio 库的 trio.Barrier 是真正为协程设计的:构造时指定数量,每个协程调用 await barrier.wait(),自动阻塞直到全部到达,然后全部唤醒。它内部用结构化并发模型保证原子性和取消安全。

兼容性注意:trio 和 asyncio 不兼容,不能混用;且 trio 需要自己的事件循环(trio.run),替换成本较高。仅当项目已重度依赖 trio 或对同步语义要求极严时才考虑。

关键差异:trio.Barrierwait() 返回整数序号(谁先到谁是 0),可用于选举 leader;而 asyncio 方案得自己实现。

真正麻烦的不是“怎么写同步逻辑”,而是判断哪些地方**必须同步**——很多所谓“等全部完成”的需求,其实用 asyncio.gather() 就够了;只有当“全部到达”和“全部出发”之间存在中间状态(比如修改共享变量、发心跳、触发回调),才需要 Barrier 级别的协调。这个边界,比语法更难拿捏。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

392

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.10.07

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

85

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

101

2025.09.18

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1486

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

403

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2225

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

37

2026.01.19

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号