0

0

Python 并行测试的 pytest-xdist 配置

舞姬之光

舞姬之光

发布时间:2026-02-17 15:15:10

|

834人浏览过

|

来源于php中文网

原创

pytest-xdist需单独安装,未安装会导致importerror;-n auto按cpu核数减1启动进程,但受测试间资源冲突限制;应避免共享文件、端口、数据库,改用临时路径、内存sqlite或随机后缀;--dist=loadgroup按类或标记分组调度,适合有状态依赖的测试。

python 并行测试的 pytest-xdist 配置

pytest-xdist 启动就报 ImportError: No module named 'xdist'

这是环境没装对,不是插件没启用。pytest-xdist 是独立包,不随 pytest 自带,必须显式安装。

  • pip install pytest-xdist,别只装 pytest
  • 如果用虚拟环境,确认当前 shell 激活的是目标环境(which pythonwhich pytest 要一致)
  • 某些旧项目用了 setup.pyrequirements.txt,但漏了 pytest-xdist —— 它不会被自动推导依赖

加了 -n auto 却只跑 1 个进程

-n auto 不是“尽量多开”,而是按 os.cpu_count() 算出逻辑核数后减 1(留一个给主控),但实际能用多少还取决于测试本身是否真能并行。

  • 若测试里有全局锁、共享文件写入、time.sleep() 或硬编码的端口(如 8000),pytest-xdist 会退化为串行执行(或直接失败)
  • macOS 上 os.cpu_count() 返回的是逻辑核数,但 M 系列芯片上部分 Python 版本存在识别偏差,可改用 -n 2-n 4 显式指定
  • CI 环境(如 GitHub Actions)默认只分配 2 核,-n auto 就是 1,得看 CI 配置再调

测试间相互干扰:数据库连接冲突、临时文件覆盖

pytest-xdist 把测试分发到多个子进程中,它们默认共用同一工作目录和环境变量,但不共享内存 —— 所以文件/端口/数据库这类外部资源极易撞车。

Heeyo
Heeyo

Heeyo:AI儿童启蒙陪伴师,风靡于硅谷的儿童AI导师和玩伴

下载
  • 避免硬编码路径:/tmp/test.db 改成 tempfile.mktemp(prefix=f"test_{os.getpid()}_")
  • 数据库用内存 SQLite(sqlite:///file::memory:)或每个 worker 加随机后缀:sqlite:///test_{worker_id}.db,其中 worker_id 可通过 os.environ.get("PYTEST_XDIST_WORKER") 获取
  • HTTP 测试别固定端口,用 0 让系统自动分配:http.server.HTTPServer(("", 0), handler)

--dist=loadgroup--dist=load 差在哪

区别在分组粒度:load 按单个 test function 分发,loadgroupclasspytest.mark 分组后整体调度 —— 后者更适合有内部状态依赖的测试集。

立即学习Python免费学习笔记(深入)”;

  • 如果某 TestAPI class 里多个方法共用一个登录 token,用 --dist=load 可能把 login 和 use_token 拆到不同进程,直接失败;换成 --dist=loadgroup 就能保序
  • --dist=loadgroup 需配合 @pytest.mark.xdist_group(name="api") 使用,否则默认按 class 名分组
  • 组太大(比如整个 TestIntegration 有 50 个方法)会导致某个 worker 负载过重,反而拖慢总耗时
多进程下 fixture 的初始化时机、日志混杂、覆盖率统计失效,这些都不是配置开关能一键解决的。得先看清测试本身有没有隐式共享状态——这才是并行真正的门槛。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

348

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

425

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

786

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

357

2025.07.23

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6396

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

835

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1084

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1599

2024.03.01

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号