0

0

Python 并发代码的可测试性设计

冰川箭仙

冰川箭仙

发布时间:2026-01-30 19:32:02

|

791人浏览过

|

来源于php中文网

原创

asyncio单元测试常卡住或超时,根本原因是测试与被测协程共用事件循环且存在未关闭的全局loop、阻塞调用或未await的后台任务;需用@pytest.mark.asyncio、禁用真实I/O、检查遗漏await。

python 并发代码的可测试性设计

为什么 asyncio 单元测试常卡住或超时

根本原因是测试运行在同一个事件循环中,而被测协程可能依赖全局状态(如未显式关闭的 asyncio.get_event_loop())、阻塞调用(如 time.sleep())或未 await 的后台任务。测试框架(如 pytest)默认不自动管理异步上下文,直接调用 await my_coro() 在非 async 测试函数里会报 SyntaxError 或静默失败。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 始终用 @pytest.mark.asyncio(配合 pytest-asyncio 插件)或手动创建/关闭事件循环,避免复用测试间残留的 loop
  • 禁用真实 I/O:用 unittest.mock.patch 替换 asyncio.sleepaiohttp.ClientSession 等,返回预设的 AsyncMock 或已 resolve 的 Future
  • 检查是否遗漏 await:比如误写 task = asyncio.create_task(...) 但没等它完成,导致资源泄漏和测试挂起

如何让 async def 函数支持同步调用与测试

编码 await 会让函数无法在同步上下文中被简单验证逻辑(比如只测输入输出,不关心并发)。强行用 asyncio.run() 包裹又引入额外调度开销,且在已有事件循环中会报 RuntimeError: asyncio.run() cannot be called from a running event loop

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 把核心逻辑拆成纯函数(def),异步外壳只负责调度和 I/O:例如 async def fetch_user(user_id): return await _fetch_user_impl(http_client, user_id),测试时直接调 _fetch_user_impl
  • 对必须保留 async 外壳的场景,加参数控制执行模式:async def process_data(data, run_sync=False): ...,内部用 if run_sync: return _do_work(data)
  • 避免在函数内调用 asyncio.get_running_loop() —— 它在无 loop 环境下直接抛 RuntimeError;改用 asyncio.get_event_loop() 并捕获异常做 fallback

threading.Threadmultiprocessing.Process 的测试隔离难点

线程/进程启动后脱离测试主线程控制,assert 失败不会中断测试进程,日志可能丢失,且共享状态(如全局变量、文件句柄)导致测试间污染。更麻烦的是,coverage.py 默认不收集子进程代码覆盖率。

代码小浣熊
代码小浣熊

代码小浣熊是基于商汤大语言模型的软件智能研发助手,覆盖软件需求分析、架构设计、代码编写、软件测试等环节

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • queue.Queuemultiprocessing.Queue 收集子线程/进程的错误信息,主测试线程主动 get(timeout=...) 检查结果,避免无限等待
  • 禁止在并发单元中直接操作模块级全局状态;改用传参方式注入配置或状态对象(如 cache: dict
  • 运行覆盖率时加参数:coverage run --parallel-mode -m pytest,再用 coverage combine && coverage report 合并所有进程数据
  • threading.Timerthreading.Event 类型的等待逻辑,统一替换为可 mock 的接口(如 wait_fn: Callable[[], None]),测试时注入 lambda: None 快速通过

Mock 异步依赖时最易忽略的三个细节

很多人用 AsyncMock 却仍遇到 TypeError: object AsyncMock can't be used in 'await' expression,或 mock 返回值类型不对导致下游解析失败。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • AsyncMock 默认返回另一个 AsyncMock,不是可 await 的协程;要让它返回值,必须设 return_valueside_effect,例如:mock_fetch.return_value = {"id": 1},而非 mock_fetch.return_value = AsyncMock(return_value={"id": 1})
  • mock 对象的返回类型需匹配真实调用签名:如果原函数返回 list[dict],mock 就不能只返回 dict,否则业务代码里的 for item in result: 会报 TypeError: 'dict' object is not iterable
  • async for 场景(如异步生成器),mock 必须是真正的异步迭代器:用 AsyncMock().__aiter__.return_value = [1, 2, 3].__iter__() 不行;正确做法是定义一个带 __aiter____anext__ 的类,或用 AsyncMockside_effectStopAsyncIteration

并发代码的可测试性不在于“能不能测”,而在于“测的时候有没有能力切断所有外部依赖路径”。任何隐式调度、全局状态、未声明的 I/O 都是测试稳定性的裂缝。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

780

2023.08.22

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

81

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

96

2025.09.18

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

208

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

191

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

55

2026.01.05

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1155

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

213

2025.10.17

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号