特征选择比盲目增加数据更重要，因其能剔除无关特征、突出关键信号，使简单模型也能获得高性能；常用方法包括方差阈值法、相关性过滤和基于模型的特征重要性分析。
为什么特征选择比拼命加数据更重要
很多初学者以为模型效果差就是数据不够多，其实更常见的情况是：无关特征太多、关键特征被淹没。特征选择不是删减数据，而是帮模型聚焦真正重要的信号。比如用天气数据预测销量，湿度、风速可能影响极小，但节假日标记和温度区间往往是决定性因素——选对了特征，简单模型也能跑出高分。
三种实用特征筛选方法怎么选
不用死记公式，按场景挑最顺手的：
- 方差阈值法：适合快速清理明显“死特征”，比如某个字段99%都是0，直接剔除。sklearn的VarianceThreshold一行代码就能搞定。
- 相关性过滤：数值型特征之间高度相关（如身高和体重），留一个即可。用df.corr()看热力图，再结合业务判断哪个更可解释。
- 基于模型的特征重要性：用树模型（如RandomForest）跑一遍，看feature_importances_排序。注意别只信数值大小，要结合置信度——建议用交叉验证多次打分再平均。
模型调优不是暴力穷举，而是有方向地试探
GridSearchCV看着省事，但参数组合爆炸时耗时惊人。更高效的做法是分两步走：
- 先用RandomizedSearchCV在大范围内撒点采样，快速锁定有潜力的区域；
- 再在该区域内用GridSearchCV精细搜索。比如XGBoost调参，优先盯住n_estimators、max_depth、learning_rate这三个，其余用默认值起步。
- 每次调参后一定用cross_val_score看稳定性，如果标准差远大于均值，说明模型对数据划分太敏感，得回头检查特征或数据分布。
验证不是为了刷高分，而是防过拟合
训练集上98%准确率，测试集掉到72%，典型过拟合。这时候别急着换模型，先做三件事：
立即学习“Python免费学习笔记（深入）”；
- 画学习曲线：看训练/验证分数随样本量变化的趋势，判断是欠拟合还是过拟合；
- 检查特征是否泄露——比如时间序列里用了未来信息，或分类标签被无意编码进特征；
- 用SHAP值解释单个预测，看看模型到底依赖哪些特征做决策。如果解释结果和业务常识严重冲突，大概率是数据或特征工程出了问题。
