模型效果不佳时应先系统排查训练逻辑、数据质量、超参配置和评估方式四大环节；重点检查数据预处理一致性、验证/测试集标准化方式、增强策略分离、tokenizer复用、eval模式切换、loss与指标真实性、学习率缩放规则、AdamW替代Adam、简化模型验证链路等细节。
模型效果不佳时，别急着换框架或堆数据，先从训练逻辑、数据质量、超参配置和评估方式四个关键环节系统排查。多数情况下，问题出在细节没对齐，而非模型本身能力不足。
检查数据预处理是否一致
训练集、验证集、测试集的归一化参数必须来自训练集，且推理时用相同方式处理新样本。常见错误包括：验证集单独标准化、测试时忘了减均值除标准差、文本分词器未固定词汇表大小。
- 用 fit_transform() 只在训练集上拟合 scaler，再用 transform() 处理验证/测试集
- 图像任务中，确保 train/val/test 的 resize、crop、color jitter 等增强策略逻辑分离——验证和测试禁用随机增强
- NLP任务中，保存 tokenizer 时显式调用 save_pretrained()，加载时复用同一份 vocab 和 max_length
验证损失与指标是否真实可信
训练 loss 下降但准确率卡住，可能因类别不平衡、标签噪声或评估代码有 bug。先人工抽检几个预测错的样本，看是模型不会，还是评估脚本把 label 映射错了。
- 打印混淆矩阵，确认低频类是否被完全忽略；若存在，改用 F1-macro 或加 class_weight='balanced'
- 关闭所有 dropout 和 batch norm 的 training 模式再评估（model.eval()），避免推理行为不一致
- 用小批量（如 8 个样本）手动跑一遍前向过程，比对 logits 和 softmax 输出，确认 loss 计算与你理解的一致
调整学习率与优化器配置
学习率太大导致震荡，太小导致收敛慢甚至停在局部极小。不要凭感觉设 learning_rate=1e-4，要结合 batch size 和 warmup 步数动态调整。
立即学习“Python免费学习笔记（深入）”；
- batch size 翻倍时，学习率大致同步翻倍（线性缩放规则），再配合 5–10% 的 warmup 步数
- 用 torch.optim.lr_scheduler.OneCycleLR 或 ReduceLROnPlateau 替代固定 lr，尤其适合小数据集
- 尝试 AdamW（带权重衰减解耦）替代 Adam，常能提升泛化，尤其在 Transformer 类模型中
简化模型结构快速定位瓶颈
先用一个极简版本（如 1 层 LSTM + 64 维隐藏层）跑通全流程，确认数据能学出基本 pattern。如果简单模型也不收敛，说明问题在数据或工程链路上，不是模型深度不够。
- 冻结预训练主干（如 BERT），只训练最后两层分类头，观察是否快速过拟合训练集——不过拟合说明特征没传过来
- 把模型输出强制替换为全零向量，看 loss 是否稳定下降到 log(C)（C 为类别数）——验证 loss 实现是否正确
- 用 torchsummary 或 hiddenlayer 查看每层 shape 和参数量，防止某层意外被跳过或维度不匹配
不复杂但容易忽略。
