应使用train_test_split分两次：先按比例分离测试集，再对剩余数据分离训练集和验证集，全程固定random_state并启用stratify确保类别分布一致，严禁混用验证集与测试集。
train_test_split 怎么一次分出训练集、验证集、测试集三部分
直接用 train_test_split 两次，别硬凑单次调用——它原生只支持二分，强行用 test_size 嵌套容易比例失控。
常见错误是先分出测试集，再对剩余数据调用一次 train_test_split 分训练/验证，但没设 random_state 或两次随机种子不一致，导致验证集和测试集之间样本泄露（比如同一个人的多张图被拆到两边）。
- 第一次调用：从全量数据中按比例切出测试集，固定
random_state - 第二次调用：对剩下的数据再按比例切训练+验证，用同一个
random_state或显式指定新值（推荐统一用一个值，方便复现） - 注意
test_size和val_size要换算成相对于当前数据集的比例，不是原始总量。例如总数据 1000 条，想分 70/15/15，第一次test_size=0.15；剩下 850 条，第二次要分训练 70/(70+15)≈0.8235，即test_size=0.1765（因为这次的 “test” 实际是验证集）
示例：
from sklearn.model_selection import train_test_split
X_train_val, X_test, y_train_val, y_test = train_test_split(
X, y, test_size=0.15, random_state=42, stratify=y
)
X_train, X_val, y_train, y_val = train_test_split(
X_train_val, y_train_val, test_size=0.1765, random_state=42, stratify=y_train_val
)
stratify 参数为什么必须加，尤其在分类任务里
不加 stratify，小类样本可能在某一分割中完全消失，比如二分类中正样本只占 5%，不 stratify 的话，验证集可能一个正样本都没有，模型评估彻底失真。
立即学习“Python免费学习笔记（深入）”；
它不是“锦上添花”，而是防止数据分布漂移的核心开关。只要标签有类别含义（包括多分类、二分类、甚至带权重的少数类），就必须传 stratify=y。
-
stratify只接受一维数组，不能是 DataFrame 列或带索引的 Series，否则报错ValueError: The provided y is not a valid classification target - 如果 y 是字符串标签，确保没有空值或非法字符，
train_test_split对 NaN 敏感，会直接抛异常 - 回归任务不用
stratify，但可以考虑用shuffle=True+ 分桶（如pd.qcut）后模拟分层，不过通常影响不大
乱序（shuffle）到底该在哪步做，能不能关掉
默认 shuffle=True，但关键点在于：乱序必须在划分前完成，而不是靠多次调用 train_test_split 来“凑乱”。
常见误区是把原始数据按时间/ID 排好序，又忘了开 shuffle，结果训练集全是早期数据、测试集全是后期数据——模型看似指标高，实则时序泄露，上线就崩。
- 如果原始数据本身已打乱（比如从数据库
ORDER BY RANDOM()导出），可关掉shuffle=False，省点开销 - 但绝大多数情况建议保留
shuffle=True，并配random_state保证可复现 - 时间序列任务例外：此时必须关掉
shuffle=False，且用TimeSeriesSplit或手动切片，否则违背前提假设
验证集和测试集混用的典型信号与自查方法
最危险的不是不会分，而是分完还当成一回事用——比如用验证集调参后，又拿它测最终效果；或者把测试集路径写死在训练脚本里，每次跑都偷偷读一遍。
这种问题不会报错，但会让 AUC 看似 0.95，实际部署后跌到 0.7。
- 检查代码里是否出现
X_test或y_test在模型训练、超参搜索、特征选择等任何中间步骤中被引用 - 验证集只能用于早停（early stopping）、学习率调整、模型选型；测试集只允许在最后一步
model.evaluate(X_test, y_test)中出现一次 - 文件路径也要隔离：训练脚本不应包含
"data/test/"这类硬编码，最好用配置或命令行参数传入，避免误加载
三集合划分真正难的不是代码几行，而是每次新增一个实验变量，都要重新确认验证集没被污染、测试集始终锁死——这个意识比函数调用重要得多。
