数据预处理是模型学习有效规律的前提，包括缺失值处理、分类变量编码、标准化/归一化及异常值判断；特征工程强调业务理解驱动的特征构造与迭代优化；模型选择应从简单baseline（如逻辑回归、随机森林）起步，逐步提升。
数据预处理：让原始数据变得“可学”
机器学习模型不会直接理解Excel表格或CSV里的文字、空值、不一致单位。预处理不是可有可无的步骤，而是决定模型能否学到有效规律的前提。
常见操作包括：
- 处理缺失值：数值型用均值/中位数填充，类别型用众数或新增“Unknown”类别
- 编码分类变量：用LabelEncoder处理有序标签，用OneHotEncoder处理无序类别（注意避免哑变量陷阱）
- 标准化/归一化：对逻辑回归、SVM、神经网络等距离敏感模型，用StandardScaler或MinMaxScaler统一量纲
- 处理异常值：结合箱线图或IQR判断，谨慎删除——有时异常点恰恰是关键业务信号
特征工程：把领域知识变成模型优势
好特征比复杂模型更有效。这不是靠调参，而是靠你对业务的理解。
实用建议：
- 构造有意义的组合特征：比如“订单金额 ÷ 下单频次”反映客户价值，“注册天数 − 首次登录天数”衡量活跃启动速度
- 时间特征拆解：从datetime字段提取星期几、是否节假日、小时段、是否月末等，对用户行为预测帮助明显
- 文本类字段：短文本可用TfidfVectorizer，长文本考虑预训练嵌入（如sentence-transformers），避免直接扔进模型
- 特征重要性反馈闭环：训练初步模型后，用feature_importances_或SHAP看哪些特征真起作用，再迭代优化
模型选择与训练：别一上来就上XGBoost
从简单到复杂推进，既快又稳。先建立baseline，再逐步提升。
推荐路径：
- 二分类问题：先跑LogisticRegression和RandomForestClassifier，观察准确率、AUC和混淆矩阵
- 回归任务：对比LinearRegression、RandomForestRegressor和GradientBoostingRegressor的MAE/RMSE
- 小数据集（XGBoost或LightGBM
- 记得用train_test_split分层抽样（stratify参数），尤其在类别不平衡时
模型调优：聚焦关键参数，拒绝盲目网格搜索
全参数暴力搜索耗时且未必有效。抓住每个模型最影响性能的2–3个参数，配合交叉验证更可靠。
立即学习“Python免费学习笔记（深入）”；
高频调参建议：
- RandomForest：重点调n_estimators（通常100–300）、max_depth（防过拟合）、min_samples_split
- XGBoost：优先调learning_rate（0.01–0.3）、n_estimators（配合early_stopping）、max_depth
- SVM：核心是C（正则强度）和gamma（RBF核宽度），用StratifiedKFold做5折CV更稳妥
- 工具推荐：Optuna比GridSearchCV更高效，支持早停和动态采样
