Sublime写模型训练日志监控脚本_适用于机器学习任务过程追踪

sublime text 通过构建系统与 python 脚本协同工作，可实现日志监控。1. 创建 monitor.py 脚本，记录读取位置并持续输出新增内容；2. 配置 sublime text 构建系统 monitorlog.sublime-build，指定 python 运行脚本及日志路径；3. 在 sublime text 中运行构建系统，控制台实时显示日志内容。此外，可修改 interval 变量调整监控频率，添加 ansi 转义码高亮关键信息。最后，该工具还可集成至 ci/cd 流程，通过保存监控日志作为 artifact 实现训练过程追踪与报警。

Sublime Text 配合 Python 脚本，可以实现一个简单的模型训练日志监控工具，方便追踪机器学习任务的进度。

解决方案

1. 创建 Python 监控脚本 (monitor.py)

   

   import time
   import os
   import sys
   
   def monitor_log(log_file, interval=10):
       """
       监控日志文件，并输出新增内容。
       """
       try:
           last_position = 0
           while True:
               with open(log_file, 'r', encoding='utf-8') as f:
                   f.seek(last_position)
                   new_lines = f.readlines()
                   if new_lines:
                       for line in new_lines:
                           print(line.strip())
                       last_position = f.tell()
               time.sleep(interval)
       except FileNotFoundError:
           print(f"错误：日志文件 {log_file} 未找到。")
       except KeyboardInterrupt:
           print("监控停止。")
       except Exception as e:
           print(f"发生错误: {e}")
   
   if __name__ == "__main__":
       if len(sys.argv) != 2:
           print("用法: python monitor.py <log_file>")
           sys.exit(1)
   
       log_file = sys.argv[1]
       monitor_log(log_file)
   

   这个脚本的核心在于记录上次读取的位置

   last_position

   ，然后不断地读取日志文件新增的内容。

   try...except

   块处理了文件未找到和键盘中断等情况，增加程序的健壮性。

   encoding='utf-8'

   处理了日志文件编码问题。

2. 配置 Sublime Text 构建系统

   
   • 打开 Sublime Text，选择 "Tools" -> "Build System" -> "New Build System..."
   • 粘贴以下 JSON 配置，并保存为

     MonitorLog.sublime-build

     (文件名可以自定义):

   {
       "cmd": ["python", "$file", "$project_path/your_log_file.log"],
       "working_dir": "${file_path}",
       "selector": "source.python",
       "shell": false,
       "env": {"PYTHONIOENCODING": "utf-8"}
   }

   • 修改

     your_log_file.log

     为你的实际日志文件路径。

     $project_path

     指的是 Sublime Text 打开的项目目录。 如果你的日志文件不在项目目录下，需要使用绝对路径或相对路径。

   • "selector": "source.python"

     确保这个构建系统只对 Python 文件生效。

   • "shell": false

     直接执行命令，避免通过 shell。

   • "env": {"PYTHONIOENCODING": "utf-8"}

     设置环境变量，解决 Python 输出的编码问题，避免乱码。

3. 使用方法

   • 在 Sublime Text 中打开

     monitor.py

     。
   • 选择 "Tools" -> "Build System" -> "MonitorLog" (或者你自定义的名字)。
   • 按下

     Ctrl+B

     (Windows/Linux) 或

     Cmd+B

     (macOS) 运行构建系统。
   • Sublime Text 的控制台会开始实时显示日志文件的内容。

Sublime Text 如何与 Python 脚本协同工作以实现日志监控？

Sublime Text 提供了一个构建系统，允许你配置如何运行外部程序。 通过配置

MonitorLog.sublime-build

monitor.py

Ctrl+B

Avatar AI

AI成像模型，可以从你的照片中生成逼真的4K头像

下载

如何自定义监控间隔和高亮显示关键信息？

修改

monitor.py

interval

interval=10

interval=5

高亮显示关键信息可以通过修改 Python 脚本实现。例如，可以使用 ANSI 转义码为特定关键词添加颜色。

import time
import os
import sys

RED = '\033[91m'
RESET = '\033[0m'

def monitor_log(log_file, interval=10):
    """
    监控日志文件，并输出新增内容。
    """
    try:
        last_position = 0
        while True:
            with open(log_file, 'r', encoding='utf-8') as f:
                f.seek(last_position)
                new_lines = f.readlines()
                if new_lines:
                    for line in new_lines:
                        if "ERROR" in line:
                            print(RED + line.strip() + RESET) # 高亮显示包含 "ERROR" 的行
                        else:
                            print(line.strip())
                    last_position = f.tell()
            time.sleep(interval)
    except FileNotFoundError:
        print(f"错误：日志文件 {log_file} 未找到。")
    except KeyboardInterrupt:
        print("监控停止。")
    except Exception as e:
        print(f"发生错误: {e}")

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("用法: python monitor.py <log_file>")
        sys.exit(1)

    log_file = sys.argv[1]
    monitor_log(log_file)

这里我们定义了

RED

RESET

如何将此监控脚本集成到 CI/CD 流程中？

虽然这个脚本主要用于本地开发，但也可以集成到 CI/CD 流程中，用于监控模型训练过程。 一种方法是在 CI/CD 脚本中运行这个 Python 脚本，并将输出重定向到日志文件。 然后，可以使用 CI/CD 平台的日志分析工具来分析日志文件，并根据关键信息发送警报。

例如，在 GitLab CI 中，可以这样配置：

stages:
  - train
  - monitor

train_model:
  stage: train
  script:
    - python train_model.py > training.log  # 训练模型并将输出重定向到 training.log

monitor_training:
  stage: monitor
  script:
    - python monitor.py training.log > monitor.log # 监控 training.log 并将输出重定向到 monitor.log
  artifacts:
    paths:
      - monitor.log # 将 monitor.log 作为 artifact 保存

这样，在

monitor

monitor.py

training.log

monitor.log

monitor.log

monitor.log