过拟合是模型在训练集表现好但测试集效果骤降，因记住噪声而非规律；可通过早停、正则化、简化结构、特征工程、数据增强等提升泛化能力。
过拟合是机器学习中最常见的问题之一：模型在训练集上表现极好，但在测试集或新数据上效果骤降。根本原因在于模型记住了训练数据的噪声和细节，而非学到可泛化的规律。提升泛化能力，关键不是让模型“更聪明”，而是让它“更克制”。
用验证集早停，防止训练过度
训练过程中持续监控验证集误差，当它开始上升而训练误差仍在下降时，说明模型已开始过拟合。此时立即停止训练，能有效保留泛化能力。
- 使用
sklearn.model_selection.train_test_split划分训练集与验证集（如 8:2） - Keras 中可用
EarlyStopping(monitor='val_loss', patience=10) - PyTorch 需手动在每个 epoch 后计算验证损失，并保存最优模型参数
正则化：给模型加点“约束力”
正则化通过在损失函数中加入惩罚项，限制模型复杂度。L1 和 L2 是最常用方式，前者倾向产生稀疏权重（可用于特征选择），后者让权重整体偏小、更平滑。
- 线性模型中直接使用
sklearn.linear_model.Lasso（L1）或Ridge（L2） -
神经网络中，在全连接层后添加
torch.nn.Dropout(p=0.3)或 Keras 的Dropout(0.3) - 树模型如随机森林本身具有集成抗过拟合能力；XGBoost 可设
lambda（L2）、alpha（L1）参数
简化模型结构，避免“杀鸡用牛刀”
模型越复杂，越容易拟合噪声。先从简单模型起步，逐步增加容量，只在验证性能确实提升时才升级。
立即学习“Python免费学习笔记（深入）”；
- 决策树控制
max_depth、min_samples_split等超参数 - 神经网络减少层数、每层神经元数量，或改用更轻量架构（如 MobileNet 替代 ResNet）
- 特征工程比堆模型更重要：删除冗余/高相关特征，做合理缩放，避免原始 ID 类特征直接输入
数据增强与更多真实样本
模型见过的模式越多，越不容易死记硬背。对小数据集，数据增强是低成本提升泛化能力的有效手段。
- 图像任务：随机旋转、翻转、裁剪、色彩抖动（
torchvision.transforms或ImageDataGenerator） - 文本任务：同义词替换、随机遮蔽、回译（back-translation）
- 结构化数据：SMOTE 过采样少数类（分类任务）、添加微小高斯噪声（需谨慎，不能破坏业务逻辑）
泛化能力不是靠调参堆出来的，而是靠对数据的理解、对模型边界的尊重，以及持续验证的习惯。不复杂但容易忽略。
