Scikit-learn中K折交叉验证下分类模型性能指标的计算方法

本文详细介绍了在机器学习中，如何利用k折交叉验证（k-fold cross validation）高效准确地计算分类模型的关键性能指标，包括准确率、精确率、召回率和f1分数。我们将重点阐述使用scikit-learn库中`cross_val_score`函数的最佳实践，以避免手动实现可能带来的潜在问题，并确保模型评估的稳健性与可靠性。

引言：K折交叉验证与分类指标的重要性

在机器学习模型的开发过程中，准确评估模型的泛化能力至关重要。K折交叉验证（K-Fold Cross Validation）是一种广泛使用的技术，它通过将数据集划分为K个互斥的子集（折叠），轮流将其中一个折叠作为测试集，其余K-1个折叠作为训练集，重复K次。这种方法能够有效减少因单一训练/测试集划分带来的评估偏差，提供更稳健的模型性能估计。

对于分类任务，常用的性能指标包括：

• 准确率（Accuracy）：正确预测样本数占总样本数的比例。
• 精确率（Precision）：在所有被预测为正类的样本中，真正是正类的比例。
• 召回率（Recall）：在所有实际为正类的样本中，被正确预测为正类的比例。
• F1分数（F1-score）：精确率和召回率的调和平均值，综合衡量模型的性能。

这些指标从不同角度反映了模型的性能，选择合适的指标取决于具体的业务需求。

手动实现K折交叉验证的常见误区

一些初学者在尝试实现K折交叉验证时，可能会选择在循环中多次调用train_test_split函数来模拟数据划分，并手动聚合每次迭代的指标。例如：

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from sklearn.neural_network import MLPClassifier
from sklearn.datasets import make_classification

# 示例数据
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)
clf = MLPClassifier(random_state=42, max_iter=1000)
n_folds = 5

a, p, r, f = 0, 0, 0, 0
for fold in range(0, n_folds):
    # 每次随机划分，可能导致测试集重叠，不符合K折交叉验证的互斥性原则
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=int(len(y)/n_folds), random_state=fold) # 每次固定random_state以确保可复现性，但仍非标准K折

    clf.fit(X_train, y_train)
    y_pred = clf.predict(X_test)

    a += accuracy_score(y_test, y_pred)
    p += precision_score(y_test, y_pred)
    r += recall_score(y_test, y_pred)
    f += f1_score(y_test, y_pred)

print(f"平均准确率: {a/n_folds:.4f}")
print(f"平均精确率: {p/n_folds:.4f}")
print(f"平均召回率: {r/n_folds:.4f}")
print(f"平均F1分数: {f/n_folds:.4f}")

这种手动实现方式存在以下问题：

1. 数据划分不准确：train_test_split每次都是从整个数据集中随机抽取，并不能保证每次循环的测试集是互斥的，这与K折交叉验证的核心思想相悖。标准的K折交叉验证会确保每个样本只出现在一个测试折叠中。
2. 效率低下：需要手动管理循环、数据划分和指标累加，代码冗余且易出错。
3. 缺乏通用性：对于更复杂的交叉验证策略（如分层K折、留一法等），手动实现会变得更加复杂。

使用Scikit-learn的cross_val_score进行高效评估

Scikit-learn库提供了cross_val_score函数，它封装了K折交叉验证的完整流程，能够高效、准确地计算模型在不同折叠上的性能指标。这是进行交叉验证评估的推荐方法。

cross_val_score函数的核心参数包括：

Codeium

一个免费的AI代码自动完成和搜索工具

228

查看详情

• estimator：待评估的机器学习模型实例。
• X：特征数据。
• y：目标标签。
• cv：指定交叉验证的折叠数（例如，cv=5表示5折交叉验证）。对于分类任务，cross_val_score默认会使用分层K折交叉验证（StratifiedKFold），以确保每个折叠中类别比例与原始数据集相似，这对于类别不平衡的数据集尤为重要。
• scoring：一个字符串，指定要计算的性能指标。Scikit-learn提供了多种内置的评分器，如'accuracy'、'precision'、'recall'、'f1'等。

cross_val_score函数会返回一个数组，其中包含模型在每个交叉验证折叠上的得分。通常，我们会计算这些分数的平均值来作为模型的最终评估结果。

示例代码：使用cross_val_score计算分类指标

以下代码展示了如何使用cross_val_score为多层感知机（MLPClassifier）计算准确率、精确率、召回率和F1分数的平均值：

from sklearn.model_selection import cross_val_score
from sklearn.neural_network import MLPClassifier
from sklearn.datasets import make_classification
import numpy as np

# 1. 准备示例数据
# 生成一个包含1000个样本、10个特征、2个类别的分类数据集
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)

# 2. 初始化分类器
# 使用MLPClassifier作为示例模型，设置随机种子以确保结果可复现
clf = MLPClassifier(random_state=42, max_iter=1000)

# 3. 定义K折交叉验证的折叠数
n_folds = 5 

print(f"--- 使用 {n_folds} 折交叉验证计算分类指标 ---")

# 4. 计算准确率 (Accuracy)
# scoring='accuracy' 指定计算准确率
accuracy_scores = cross_val_score(clf, X, y, cv=n_folds, scoring='accuracy')
print(f'平均准确率: {np.mean(accuracy_scores):.4f} (所有折叠分数: {accuracy_scores})')

# 5. 计算精确率 (Precision)
# scoring='precision' 指定计算精确率
precision_scores = cross_val_score(clf, X, y, cv=n_folds, scoring='precision')
print(f'平均精确率: {np.mean(precision_scores):.4f} (所有折叠分数: {precision_scores})')

# 6. 计算召回率 (Recall)
# scoring='recall' 指定计算召回率
recall_scores = cross_val_score(clf, X, y, cv=n_folds, scoring='recall')
print(f'平均召回率: {np.mean(recall_scores):.4f} (所有折叠分数: {recall_scores})')

# 7. 计算F1分数 (F1-score)
# scoring='f1' 指定计算F1分数
f1_scores = cross_val_score(clf, X, y, cv=n_folds, scoring='f1')
print(f'平均F1分数: {np.mean(f1_scores):.4f} (所有折叠分数: {f1_scores})')

运行上述代码，您将得到模型在5折交叉验证下各项指标的平均值，以及每个折叠的具体得分，从而对模型的性能有一个全面的认识。

多分类问题中的scoring参数

在处理多分类问题时，precision、recall和f1等指标需要额外指定一个average参数来聚合多类别结果。cross_val_score的scoring参数支持复合字符串，例如：

• 'precision_macro'：计算每个类别的精确率，然后取平均值。
• 'recall_weighted'：计算每个类别的召回率，并按每个类别的样本数进行加权平均。
• 'f1_micro'：全局计算总的真阳性、假阳性和假阴性，然后计算F1分数。

选择哪个average策略取决于您的具体需求。例如，如果所有类别同等重要，可以使用'macro'；如果关注样本数量多的类别，可以使用'weighted'。

注意事项

1. 数据预处理：在进行交叉验证之前，应在整个数据集上进行必要的预处理，例如特征缩放（标准化或归一化）。但请注意，任何依赖于训练数据的步骤（如特征选择、超参数调优）都应该在交叉验证的循环内部（或通过Pipeline）完成，以避免数据泄露。
2. 选择合适的K值：K值的选择会影响评估结果的稳定性和计算成本。较小的K值（如2或3）可能导致评估结果方差较大；较大的K值（如10或更多）会使计算成本增加，但评估结果更稳定。常见的K值是5或10。
3. 类别不平衡：如前所述，cross_val_score在分类任务中默认使用分层抽样，这有助于处理类别不平衡问题。如果需要更精细的控制，可以显式创建StratifiedKFold对象并将其传递给cv参数。
4. 模型选择与超参数调优：交叉验证不仅用于最终模型评估，也是模型选择和超参数调优（如GridSearchCV或RandomizedSearchCV）的核心机制。

总结

利用Scikit-learn的cross_val_score函数是进行K折交叉验证并计算分类模型性能指标（准确率、精确率、召回率、F1分数）的最佳实践。它不仅简化了代码，提高了评估效率，更重要的是，它确保了数据划分的正确性和评估结果的稳健性。通过采纳这种方法，您可以更可靠地评估模型的泛化能力，为模型选择和部署提供坚实的数据支持。

以上就是Scikit-learn中K折交叉验证下分类模型性能指标的计算方法的详细内容，更多请关注php中文网其它相关文章！