sklearn集成模型中基学习器的超参数调优策略：独立调优与联合调优深度解析

本文深入探讨了在`sklearn`集成模型中对基学习器进行超参数调优的两种主要策略：独立调优和联合调优。我们将解析当基学习器本身是`RandomizedSearchCV`实例时，`sklearn`如何处理`VotingRegressor`和`StackingRegressor`的训练过程，澄清常见的误解，并对比独立调优与联合调优的机制、优缺点及适用场景，以帮助读者根据实际需求选择最合适的优化方法。

在机器学习实践中，集成学习（Ensemble Learning）因其强大的泛化能力和鲁棒性而广受欢迎。sklearn提供了多种集成模型，如VotingRegressor和StackingRegressor。然而，如何有效地对这些集成模型中的基学习器（Base Estimators）进行超参数调优，是一个常见且关键的问题。本文将详细解析两种主要的调优策略：独立超参数调优和联合超参数调优，并探讨它们在sklearn中的实现机制及适用场景。

1. 独立超参数调优：基学习器作为搜索器

当集成模型中的每个基学习器都自带参数搜索功能（例如，基学习器本身是一个RandomizedSearchCV或GridSearchCV实例）时，我们称之为独立超参数调优。这种方法的核心在于每个基学习器独立地优化自己的超参数，而不考虑其他基学习器的存在或参数选择。

1.1 sklearn如何处理独立调优

许多用户可能会对这种设置产生疑问：如果每个基学习器都需要先被拟合才能进行预测，而集成模型又依赖于这些预测，这是否会造成循环依赖？答案是不会，因为sklearn内部的处理机制避免了这种循环。

• 对于VotingRegressor： 当VotingRegressor的基学习器是RandomizedSearchCV实例时，VotingRegressor在拟合（fit）过程中，会首先独立地对每个基学习器（即RandomizedSearchCV实例）进行拟合。这意味着每个RandomizedSearchCV会根据其自身的交叉验证策略，在训练数据上搜索并确定最佳超参数，然后用这些最佳参数训练出一个模型。一旦所有基学习器都找到了各自的最佳模型并完成训练，VotingRegressor就会使用这些已训练好的最佳模型进行集成。因此，基学习器的调优过程是完全独立的，它们并不“知道”自己最终会被集成。

• 对于StackingRegressor： StackingRegressor的处理方式更为复杂和精妙，它涉及到嵌套交叉验证。当StackingRegressor的基学习器是RandomizedSearchCV实例时，StackingRegressor的拟合过程大致如下：

  1. 外部交叉验证：StackingRegressor会执行一个外部的交叉验证过程来生成元学习器的训练数据。
  2. 内部调优：在外部交叉验证的每个折叠（fold）中，对于当前折叠的训练集，StackingRegressor会分别对每个基学习器（RandomizedSearchCV实例）进行重新拟合和超参数搜索。这意味着，基学习器会在当前折叠的训练数据上独立地寻找最佳超参数。
  3. 预测生成：找到最佳超参数后，基学习器会使用这些参数在当前折叠的训练数据上进行训练，并对当前折叠的验证集进行预测。这些预测将作为元学习器的输入特征。
  4. 最终模型训练：在所有外部交叉验证折叠完成后，StackingRegressor会使用整个训练数据集再次对每个基学习器（RandomizedSearchCV实例）进行拟合，以确定最终用于预测的最佳模型。 因此，基学习器的超参数调优是发生在StackingRegressor的内部交叉验证循环中的，这巧妙地解决了潜在的循环依赖问题，并确保了调优的有效性。

1.2 示例代码：独立超参数调优

from sklearn.ensemble import VotingRegressor, StackingRegressor, RandomForestRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import RandomizedSearchCV

# 生成示例数据集
X, y = make_regression(n_samples=100, n_features=10, random_state=42)

# 定义两个自带参数搜索功能的基学习器
# 每个搜索器都会独立地寻找最佳参数
rf_param_dist = dict(n_estimators=[1, 2, 3, 4, 5, 10, 20])
rf_searcher = RandomizedSearchCV(RandomForestRegressor(random_state=42), rf_param_dist, n_iter=5, cv=3, random_state=42)

dt_param_dist = dict(max_depth=[4, 5, 6, 7, 8, 10, 15])
dt_searcher = RandomizedSearchCV(DecisionTreeRegressor(random_state=42), dt_param_dist, n_iter=5, cv=3, random_state=42)

# 将自带搜索器的基学习器集成到StackingRegressor中
# StackingRegressor在内部会为每个折叠重新训练和调优这些搜索器
ensemble_independent_tuning = StackingRegressor(
    [ ('rf', rf_searcher), ('dt', dt_searcher) ],
    final_estimator=RandomForestRegressor(random_state=42) # StackingRegressor需要一个最终估计器
).fit(X, y)

print("独立调优的StackingRegressor训练完成。")
# 注意：这里访问的best_params_是StackingRegressor最终拟合时使用的基学习器的最佳参数
# 在StackingRegressor的内部交叉验证中，每个折叠可能会有不同的最佳参数
print(f"RF基学习器最佳参数 (最终模型): {ensemble_independent_tuning.named_estimators_['rf'].best_params_}")
print(f"DT基学习器最佳参数 (最终模型): {ensemble_independent_tuning.named_estimators_['dt'].best_params_}")

1.3 独立调优的局限性

在这种独立调优的模式下，每个基学习器在优化自身参数时，并不知道其他基学习器的参数选择。因此，它们不会做出“其他估计器参数固定”的错误假设，因为它们根本不考虑其他估计器。然而，这种方法存在一个潜在的局限性：它假设集成模型的最佳性能可以通过每个基学习器各自达到最佳性能来实现。这可能导致次优的集成效果，因为基学习器之间可能存在协同作用，某些在个体层面并非最优的参数组合，在集成时反而能产生更好的整体表现。

Lumen5

一个在线视频创建平台，AI将博客文章转换成视频

下载

2. 集成模型的联合超参数调优

与独立调优不同，联合超参数调优的目标是优化整个集成模型的性能，而不是仅仅优化各个基学习器的个体性能。这种方法通过定义一个覆盖所有基学习器超参数的联合搜索空间，并使用一个外部的超参数搜索器（如RandomizedSearchCV）来对整个集成模型进行优化。

2.1 机制与优势

在联合调优中，我们将整个集成模型（例如VotingRegressor或StackingRegressor，其基学习器为普通的估计器而非搜索器）作为一个整体传递给RandomizedSearchCV。搜索空间会通过__语法（例如rf__n_estimators）指定基学习器的超参数。RandomizedSearchCV会尝试不同的基学习器参数组合，并评估整个集成模型在这些参数下的性能。

优势：

• 全局优化：这种方法能够探索更广阔的参数空间，寻找基学习器之间能够产生最佳协同作用的参数组合，即使这些组合可能导致某些基学习器在个体层面表现次优。
• 潜在更高性能：理论上，联合调优更有可能找到集成模型的全局最优解，从而实现更高的预测性能。

2.2 示例代码：联合超参数调优

# --- 联合超参数调优示例 ---
# 定义一个VotingRegressor作为集成模型，其基学习器不带参数搜索功能
ensemble_joint = VotingRegressor(
    [ ('rf', RandomForestRegressor(random_state=42)), ('dt', DecisionTreeRegressor(random_state=42)) ]
)

# 定义一个覆盖所有基学习器参数的联合搜索空间
jointsearch_param_dist = dict(
    rf__n_estimators=[1, 2, 3, 4, 5, 10, 20],
    dt__max_depth=[4, 5, 6, 7, 8, 10, 15]
)

# 使用RandomizedSearchCV对整个集成模型进行联合参数搜索
ensemble_joint_tuning = RandomizedSearchCV(ensemble_joint, jointsearch_param_dist, n_iter=5, cv=3, random_state=42)
ensemble_joint_tuning.fit(X, y)

print("\n联合调优的VotingRegressor训练完成。")
print(f"联合调优最佳参数: {ensemble_joint_tuning.best_params_}")
print(f"集成模型最佳得分: {ensemble_joint_tuning.best_score_}")

2.3 联合调优的挑战

• 计算成本高昂：联合搜索空间通常比单个基学习器的搜索空间大得多，导致需要评估的参数组合数量呈指数级增长。这会显著增加计算时间和资源消耗。
• 过拟合风险：由于搜索空间较大，如果训练数据量不足，联合调优可能会导致模型在训练集上过拟合，而泛化能力下降。

3. 两种调优策略的对比与选择

4. 注意事项与总结

• 理解机制是关键：无论是独立调优还是联合调优，理解sklearn在底层如何处理这些过程至关重要。例如，StackingRegressor的嵌套交叉验证机制使其在独立调优场景下也能有效工作。
• 没有绝对的“正确”方法：两种方法都是有效的，选择哪种取决于你的具体需求、计算资源以及对模型性能的期望。
• 从小处着手：对于复杂的集成模型，建议可以从独立调优开始，它计算成本较低，可以快速获得一个基线模型。如果性能不满足要求，并且有足够的计算资源，再考虑进行联合调优以寻求更高的性能。
• 平衡计算与性能：联合调优虽然潜力更大，但其高昂的计算成本和潜在的过拟合风险不容忽视。在实际应用中，需要在这两者之间找到一个最佳平衡点。

通过深入理解这两种超参数调优策略，开发者可以更灵活、高效地优化sklearn中的集成模型，从而构建出性能更优越的预测系统。