深度学习日志监控需聚焦损失值、评估指标、资源消耗和异常信号四类核心数据，结合tensorboard可视化、结构化jsonl日志与自动告警策略，保障训练稳定与问题可追溯。
用Python做深度学习时，日志监控不是“锦上添花”，而是训练稳定、问题可追溯的核心环节。关键不在于记录多少，而在于记录什么、何时记录、怎么查得快。
明确要监控的核心指标
训练过程中的日志必须聚焦真正影响模型行为的数据，避免信息过载：
- 损失值（loss）：每个batch和每个epoch的train/val loss，是判断收敛、过拟合的第一信号
- 评估指标：如accuracy、F1、mAP等，需与loss对齐时间戳，避免“loss降了但指标没升”的误判
-
资源消耗：GPU显存占用（
nvidia-smi或torch.cuda.memory_reserved()）、训练耗时（每epoch/每100 batch）、数据加载延迟 - 异常信号：梯度爆炸（grad norm > 1e3）、NaN loss、学习率突变、dataloader卡顿（如worker hang）
用TensorBoard + SummaryWriter做轻量实时可视化
不依赖第三方服务，几行代码就能启动本地监控界面：
- 安装：
pip install tensorboard - 初始化writer（建议按实验命名+时间戳）：
writer = SummaryWriter(log_dir=f"runs/exp_{int(time.time())}") - 在训练循环中写入：
writer.add_scalar("Loss/train", loss.item(), global_step=step)writer.add_scalar("Accuracy/val", acc, global_step=epoch)writer.add_histogram("Gradients/layer1", model.layer1.weight.grad, global_step=step) - 启动查看：
tensorboard --logdir=runs --bind_all，浏览器打开http://localhost:6006
结构化日志文件 + 关键事件标记
TensorBoard适合趋势分析，但调试时需要精准定位某次崩溃前3秒发生了什么——这时文本日志不可替代：
立即学习“Python免费学习笔记（深入）”；
- 用
logging模块配置带时间、级别、模块名的日志格式：logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(levelname)s] %(name)s: %(message)s") - 在关键节点打点：
logger.info(f"Epoch {epoch} start, lr={scheduler.get_last_lr()[0]:.6f}")logger.warning("NaN detected in loss at step %d, skipping backward", step)logger.error("Dataloader stalled for >30s — check worker processes") - 保存为
.jsonl（每行一个JSON）而非纯文本，方便后续用pandas读取分析：with open("train_log.jsonl", "a") as f:f.write(json.dumps({"step": step, "loss": loss.item(), "time": time.time()}) + "\n")
自动告警与中断策略（防无效空跑）
长周期训练最怕“跑了一天发现从第一轮就错了”。加入简单守卫逻辑能省下大量GPU小时：
- 梯度检查：
if torch.isnan(loss) or torch.isinf(loss):logger.error("Loss is NaN/Inf at step %d", step)raise RuntimeError("Training halted due to invalid loss") - 早停（Early Stopping）结合日志：
if val_loss > best_val_loss + 1e-4:patience_counter += 1if patience_counter >= patience:logger.info("Early stopping triggered at epoch %d", epoch)writer.add_text("Alert", "EARLY STOPPING: no improvement for 5 epochs", global_step=epoch)break - 内存超限自动暂停：
if torch.cuda.memory_allocated() / 1024**3 > 0.95 * total_gpu_mem_gb:logger.warning("GPU memory usage >95%, triggering cleanup")torch.cuda.empty_cache()
基本上就这些。不需要复杂框架，把loss、指标、资源、异常四类数据稳稳记下来，配合TensorBoard看趋势、用日志文件查细节、靠守卫逻辑保底线——深度学习的日志监控，不复杂但容易忽略。
