特征工程是让模型更清晰识别数据规律的关键步骤，直接影响效果；需据模型类型选择标准化或归一化，按类别性质选用编码方式，将缺失视为信息并构造有业务意义的特征。
特征工程不是“加数据”，而是让模型能更清楚地看到数据里的规律。它直接影响模型效果，有时比换算法还管用。
数值型特征的处理：标准化与归一化不能混用
很多初学者直接对所有数值列做 StandardScaler，但实际要看分布和用途：
- 线性模型（如线性回归、逻辑回归、SVM）通常需要标准化（Z-score），让不同量纲的特征贡献更均衡；
- 树模型（如决策树、随机森林、XGBoost）不依赖数值缩放，标准化反而可能干扰分割点选择；
- 归一化（Min-Max Scaling）适合有明确上下界的数据（如像素值 0–255、评分 1–5），或用于神经网络输入层加快收敛。
示例（使用 scikit-learn）：
from sklearn.preprocessing import StandardScaler, MinMaxScalerscaler = StandardScaler() # 或 MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train.select_dtypes(include='number'))
X_test_scaled = scaler.transform(X_test.select_dtypes(include='number')) # 注意：只 transform，不 fit
类别型特征编码：选对方法比硬套更重要
类别特征不能直接喂给大多数模型，但编码方式要按特征性质选：
立即学习“Python免费学习笔记（深入）”；
Android手机开发课程标准 中文WORD版
下载
本课程在设计上本着懂方法，重应用的总体思路，突出体现职业教育的技能型、应用性特色，着重培养学生的实践应用技能，力求达到理论方法够用，技术技能过硬的目的。 通过本课程的学习，使学生具备Android平台应用开发相关知识、良好的编程习惯和手机应用软件开发的能力，能胜任基于Android平台的手机软件研发等工作任务。感兴趣的朋友可以过来看看
- 低基数（unique 值 ≤ 10）、无序类别（如颜色、城市名）→ 用 One-Hot 编码（避免引入虚假序关系）；
- 高基数（如用户ID、商品SKU）→ 避免 One-Hot 爆内存，改用 Target Encoding（用目标变量均值替代）或 Count Encoding（统计频次）；
- 有序类别（如“低/中/高”、“一级/二级/三级”）→ 可用 Ordinal Encoding，但需确保顺序语义合理。
注意：One-Hot 后记得删掉一列（避免共线性），Target Encoding 务必用 交叉验证内编码 或 滞后平滑 防止数据泄露。
缺失值填充：别只填均值/众数
缺失不是噪声，常是信息本身。简单填充可能掩盖业务逻辑：
- 数值型缺失：可填中位数（抗异常值）、用 KNN 或回归模型预测（适合多特征强相关场景）；
- 类别型缺失：“Unknown”或新类别单独编码，有时比填众数更有区分度；
- 关键技巧：新增一列
is_missing标记是否缺失——很多模型能从中学到“缺失即特征”的信号（比如贷款申请中“收入未填”可能暗示风险）。
特征构造与交互：从领域知识出发才有效
自动特征生成（如 PolynomialFeatures）容易过拟合，真正有用的往往是人工构造的有意义组合：
- 时间类：从时间戳提取“是否周末”、“小时段分组（早/午/晚）”、“距节假日天数”；
- 地理类：经纬度转为“距市中心距离”、“所在商圈热度均值”；
- 业务类：订单表中，“总金额 / 商品数量”得单价，“最近下单距今小时数”反映活跃度；
- 慎用高阶交互：两个弱相关特征相乘，往往只是增加噪声，先看相关性热力图或用 SHAP 分析边际贡献再决定。
基本上就这些。特征工程没有银弹，核心是理解数据怎么来的、模型怎么看它、业务问题到底在问什么。多画分布图、多查缺失模式、多和业务方聊一句“这个空值一般代表什么？”，比调一百个参数更管用。
