0

0

Python MLflow 的实验跟踪最佳实践

冷漠man

冷漠man

发布时间:2026-02-19 16:45:14

|

625人浏览过

|

来源于php中文网

原创

mlflow start_run() 必须显式调用 end_run() 或使用 with 语句包裹,否则指标不落盘;mlflow_tracking_uri 需设为 http 地址而非文件路径;log_model() 必须显式指定 conda_env;set_experiment() 非线程安全,应改用 experiment_id 参数。

python mlflow 的实验跟踪最佳实践

MLflow start_run() 必须显式结束,否则指标不会落盘

很多用户发现写进 log_metric()log_param() 的数据在 UI 里看不到,根本原因是没调用 end_run() —— MLflow 不靠上下文管理器自动收尾,也不靠进程退出触发持久化。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 始终用 with mlflow.start_run(): 包裹训练逻辑,这是最安全的方式;手动调用 end_run() 容易漏在异常分支里
  • 如果必须手动控制生命周期,确保每个 start_run() 都有对应 end_run(),且放在 finally 块中
  • 注意:start_run() 在已有活跃 run 时会报 mlflow.exceptions.MlflowException: Run with ID 'xxx' is already active,不是警告,是硬错误

本地跟踪服务器启动后,MLFLOW_TRACKING_URI 必须指向 HTTP 地址而非文件路径

本地跑 mlflow server --backend-store-uri sqlite:///mlflow.db --default-artifact-root ./artifacts 后,直接设 MLFLOW_TRACKING_URI=./mlruns 会导致所有 log 操作静默失败,UI 显示空实验列表,但无任何报错提示。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 服务端启动后,客户端必须用 http://127.0.0.1:5000(或你指定的 host:port)作为 MLFLOW_TRACKING_URI
  • file:/// 协议仅适用于不启 server、纯本地文件后端场景(即直接 mlflow.set_tracking_uri("file:///path")),和 server 模式互斥
  • 检查是否生效:运行 mlflow.get_tracking_uri(),返回值应为 http://...,不是 file:// 或相对路径

log_model() 保存 sklearn 模型时,conda_env 参数不能省略或传空字典

省略 conda_env 或传 {} 会导致模型加载时报 ModuleNotFoundError: No module named 'sklearn',即使训练环境里明明装了 sklearn —— MLflow 默认只记录 Python 版本,不自动推导依赖。

TeemIp - IPAM and DDI solution
TeemIp - IPAM and DDI solution

TeemIp是一个免费、开源、基于WEB的IP地址管理(IPAM)工具,提供全面的IP管理功能。它允许您管理IPv4、IPv6和DNS空间:跟踪用户请求,发现和分配IP,管理您的IP计划、子网空间、区域和DNS记录,符合最佳的DDI实践。同时,TeemIp的配置管理数据库(CMDB)允许您管理您的IT库存并将您的配置项(CIs)与它们使用的IP关联起来。项目源代码位于https://github.com/TeemIP

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • mlflow.sklearn.log_model(..., conda_env="conda.yaml") 显式指定环境文件,或传入由 mlflow.sklearn.get_default_conda_env() 生成的 dict
  • 避免用 pip_requirements 替代 conda_env:前者只影响 pip 安装,而 MLflow 加载模型时默认走 conda 环境还原
  • 验证方式:下载模型 tar.gz,解压后检查 conda.yaml 是否包含 sklearn 和对应版本号

并发训练多个实验时,set_experiment() 不是线程安全的

多线程/多进程脚本中,如果在不同线程里分别调用 mlflow.set_experiment("exp_a")mlflow.set_experiment("exp_b"),最终可能全部跑到同一个 experiment 下——因为该函数修改的是全局模块状态,不是 run 级别配置。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 改用 mlflow.start_run(experiment_id=...)mlflow.start_run(experiment_name=...),这两个参数优先级高于全局 experiment 设置
  • 获取 experiment_id:先调 client = mlflow.tracking.MlflowClient(),再用 client.get_experiment_by_name("name").experiment_id
  • 不要依赖 set_experiment() 做并发隔离,它只适合单任务、顺序执行的脚本

真正麻烦的不是 API 怎么写,而是那些不报错却悄悄失效的行为:比如没关 run、URI 协议用错、conda 环境缺字段、全局 experiment 被覆盖。这些点不踩一遍,很难意识到问题出在哪。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

349

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

426

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

786

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

359

2025.07.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

675

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

368

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

26

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

24

2026.01.21

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

660

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号