自动化超参数调优主要有网格搜索、随机搜索和贝叶斯优化三种策略：网格搜索穷举参数组合，适合低维稀疏场景；随机搜索通过分布采样提升效率，是中小任务的默认推荐；贝叶斯优化利用代理模型智能选点，适用于高成本、高维场景。
机器学习建模中，模型参数（尤其是超参数）的设置对性能影响很大。手动调参费时低效，Python 提供了多种自动化搜索策略，核心是在指定范围内系统地尝试参数组合，并用交叉验证评估效果。关键不在于“穷举”，而在于“高效探索”。
网格搜索（GridSearchCV）：全面但谨慎用
按预设的参数网格，穷举所有组合，每组都做 k 折交叉验证，选平均得分最高的那组。适合参数维度低、取值少的情况。
- 用法简单：
GridSearchCV(estimator, param_grid, cv=5) - 注意参数字典写法，如
{'C': [0.1, 1, 10], 'kernel': ['rbf', 'linear']} - 组合数 = 各参数取值个数乘积；3 个参数各 10 个候选值 → 1000 次训练，容易爆炸
- 建议先粗调（大步长），再细调（缩小区间），避免无谓开销
随机搜索（RandomizedSearchCV）：更实用的默认选择
在参数分布中随机采样固定次数（如 n_iter=50），每次同样交叉验证。相比网格搜索，它更关注“参数空间的重要区域”，尤其适合连续参数或高维场景。
- 支持传入 scipy.stats 的分布对象，如
uniform(0.01, 100)或loguniform(1e-3, 1e3) - 即使只试 50 组，也大概率覆盖比网格搜索 50 组更广的分布范围
- 实际项目中，通常比网格搜索更快达到相近甚至更好效果
贝叶斯优化（BayesianOptimization / skopt）：面向效率的进阶方案
把“参数→模型得分”看作一个黑箱函数，用代理模型（如高斯过程）建模其响应面，再用采集函数（如 EI）决定下次该试哪组参数——越试越聪明。
立即学习“Python免费学习笔记（深入）”；
- 需要额外安装
scikit-optimize（skopt）或bayesian-optimization - 适合训练成本高（如深度模型、大数据）、超参数多（>5 个）、有先验知识可设搜索范围的场景
- 不是开箱即用，需定义搜索空间（如 Real(1e-6, 1e-1, prior='log-uniform')）、目标函数
- 收敛前几轮提升快，后期增益放缓，建议设定最大迭代次数防过久等待
早停 + 部分拟合：应对超大规模调参压力
当模型本身支持增量学习（如 SGDClassifier、XGBoost 的 fit(..., xgb_model=...)），可结合早停机制，在验证集性能不再提升时提前终止某组参数的训练。
- sklearn 原生不直接支持，但可通过自定义 scorer + 回调函数模拟
- XGBoost/LightGBM 内置
early_stopping_rounds，配合cv或train_test_split更实用 - 本质是用“训练耗时”换“搜索广度”，适合资源受限但时间充裕的场景
基本上就这些。选哪种策略，取决于你的参数数量、单次训练耗时、硬件资源和精度要求。多数中小规模任务，RandomizedSearchCV 是平衡性最好的起点；追求极致效率且愿意多配置一点，再上贝叶斯优化。
