线性回归通过最小化平方误差建模线性关系，用最小二乘或梯度下降求解参数；逻辑回归是分类模型，以sigmoid输出概率并最大化对数似然；决策树递归划分空间提升纯度，易过拟合需剪枝；随机森林集成多棵bagging树，提升鲁棒性与泛化能力。
线性回归：从原理到代码
线性回归假设目标变量与特征之间存在线性关系，目标是最小化预测值与真实值之间的平方误差。核心是求解权重向量 w 和偏置 b，使得 y_pred = w·x + b 尽可能接近真实标签。
实现时常用最小二乘法（解析解）或梯度下降（迭代优化）。sklearn 中调用简单：
- 用 LinearRegression() 拟合训练数据，自动计算最优参数
- 注意需对特征做标准化（尤其使用梯度下降时），但 LinearRegression 默认不标准化，必要时用 StandardScaler
- 评估看 R² 分数、MSE 或残差图，警惕过拟合（如训练误差远小于测试误差）
逻辑回归：不是“回归”而是分类器
逻辑回归本质是广义线性模型，输出是样本属于正类的概率。它用 sigmoid 函数将线性组合映射到 (0,1) 区间：p = 1 / (1 + exp(-(w·x + b)))。训练目标是最大化对数似然，等价于最小化交叉熵损失。
- sklearn 的 LogisticRegression 默认带 L2 正则，C 参数控制正则强度（C 越小，正则越强）
- 适合二分类；多分类可用 one-vs-rest 或 multinomial（配合 solver='lbfgs'）
- 输出概率可直接调用 predict_proba()，阈值不一定是 0.5，应结合业务权衡精确率与召回率
决策树：直观可解释的非线性模型
决策树通过递归划分特征空间，每次选择使纯度提升最大的特征和切分点（如基尼不纯度或信息增益）。它不要求线性假设，能自动处理特征交互，但容易过拟合。
立即学习“Python免费学习笔记（深入）”；
- sklearn 中 DecisionTreeClassifier 和 DecisionTreeRegressor 接口一致
- 关键参数包括 max_depth、min_samples_split、criterion（分类用 'gini' 或 'entropy'，回归用 'squared_error'）
- 剪枝比预设深度更重要；训练后可用 export_text 或 plot_tree 可视化理解决策逻辑
随机森林：集成树模型提升鲁棒性
随机森林通过 Bagging 集成大量去相关决策树：每棵树在自助采样（bootstrap）数据和随机子特征上训练，最终投票（分类）或平均（回归）得出结果。它天然抗过拟合，对异常值和缺失值较稳健。
- RandomForestClassifier 和 RandomForestRegressor 是开箱即用的强 baseline
- 调参重点在 n_estimators（通常 100–300 足够）、max_features（默认 'sqrt' 对分类较优）、max_depth（避免过深）
- 可获取特征重要性（feature_importances_），辅助特征筛选，但注意相关特征会分摊重要性
