AI模型训练监控需结构化日志、实时阈值告警、关键指标可视化和失败回溯机制四者协同；通过JSON Lines输出、边写边解析、平滑loss/显存/lr曲线绘图及自动保存崩溃快照，可将故障响应时间压至8分钟内。
AI模型训练项目日志监控的核心，不在于堆砌工具，而在于让关键信号“自己跳出来”——损失突增、梯度消失、GPU显存溢出、学习率异常波动，这些本该在5分钟内被发现的问题，往往因日志混在千行输出里被错过。下面讲清楚怎么用最小成本实现真正可用的监控。
结构化日志输出：从print()到可解析字段
原始print或logger.info输出纯文本，无法自动提取指标。必须让每条关键日志带明确字段和格式。推荐使用JSON行格式（JSON Lines），每行一个训练步的指标：
- 训练脚本中用json.dumps({"step": 1200, "loss": 0.412, "lr": 2e-5, "gpu_mem_mb": 11241240}) + "\n"写入日志文件
- 禁用非结构化调试信息混入主日志流；另开debug.log单独记录traceback或中间变量
- PyTorch Lightning用户可直接用self.log("train_loss", loss, on_step=True, sync_dist=True)，配合CSVLogger或TensorBoardLogger自动生成结构化记录
轻量实时解析+阈值告警：不依赖ELK也能跑起来
不用上Kibana或Grafana也能做有效监控。核心是“边写边读、边读边判”：
- 起一个独立Python进程，用tail -f train.log | python parse_alert.py持续监听新增行
- parse_alert.py逐行loads JSON，检查：loss连续3步上升且增幅>15%、lr突然归零、gpu_mem_mb > 95%显存容量
- 触发时立刻发企业微信/钉钉机器人消息，附当前step、异常值、最近5条上下文日志
关键指标可视化：一张图看清训练健康度
不是所有指标都要画图，只盯3类信号：
- 稳定性信号：loss曲线（平滑后）、梯度范数（grad_norm），看是否震荡或坍塌
- 资源信号：GPU显存占用率、DataLoader耗时（反映IO瓶颈）、step time（单位步耗时突增说明卡顿）
- 策略信号：实际lr变化曲线（验证warmup/scheduler是否生效）、batch_size动态调整记录（如梯度累积步数变化）
- 用matplotlib + savefig()每500步生成一张png，覆盖写入同名文件，前端用img标签自动刷新即可
失败回溯机制：让“崩了”之后还能快速定位
训练中断不可怕，可怕的是重启后重蹈覆辙。监控必须自带快照能力：
- 每次检测到loss异常或OOM前10秒，自动保存model.state_dict() + optimizer.state_dict() + 当前step + 环境变量（CUDA_VISIBLE_DEVICES等）为crash_checkpoint.pt
- 日志中记录checkpoint路径，并在告警消息里高亮显示
- 训练脚本启动时加--resume_from crash_checkpoint.pt参数，自动加载并跳过已训step
基本上就这些。不复杂但容易忽略——结构化是前提，实时判是核心，可视化是辅助，回溯是底线。四者配齐，一次训练故障平均响应时间能从几小时压到8分钟以内。
