本文探讨了机器学习模型评估中不同算法却产生相同性能指标的常见问题。通过分析一个实际案例，揭示了该问题往往源于预测结果变量的误用。文章提供了具体的代码修正方案，并强调了在模型训练与评估过程中，细致的代码审查和规范的变量管理对于确保评估结果准确性的重要性。
在机器学习项目的开发过程中，我们经常会训练多个模型并比较它们的性能。然而，有时会遇到一个令人困惑的现象：不同的模型在测试集上却产生了完全相同的性能指标（如准确率、F1分数）。这种异常的一致性通常不是模型性能的巧合，而是代码中存在潜在错误的强烈信号。本文将通过一个具体案例，深入分析此类问题的原因，并提供解决方案及最佳实践。
问题现象：不同模型，相同指标
假设我们正在处理一个文本分类任务，目标是识别SQL注入（sqli）或正常（norm）的HTTP请求。我们使用payload_mini.csv数据集，并选择了高斯朴素贝叶斯（Gaussian Naive Bayes）和随机森林（Random Forest）两种分类器进行训练和评估。
首先，进行数据加载、预处理和划分：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.model_selection import train_test_split
from nltk.corpus import stopwords
from sklearn.metrics import accuracy_score, f1_score, classification_report
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
import warnings
warnings.filterwarnings('ignore')
# 加载数据
df = pd.read_csv("payload_mini.csv", encoding='utf-16')
df = df[(df['attack_type'] == 'sqli') | (df['attack_type'] == 'norm')]
X = df['payload']
y = df['label']
# 文本特征提取
vectorizer = CountVectorizer(min_df=2, max_df=0.8, stop_words=stopwords.words('english'))
X = vectorizer.fit_transform(X.values.astype('U')).toarray()
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 添加random_state以确保可复现性
print(f"X_train shape: {X_train.shape}, y_train shape: {y_train.shape}")
print(f"X_test shape: {X_test.shape}, y_test shape: {y_test.shape}")接下来，我们分别训练和评估高斯朴素贝叶斯分类器：
# 高斯朴素贝叶斯分类器
nb_clf = GaussianNB()
nb_clf.fit(X_train, y_train)
y_pred_nb = nb_clf.predict(X_test) # 使用y_pred_nb作为预测结果变量
print("--- Naive Bayes Classifier ---")
print(f"Accuracy of Naive Bayes on test set : {accuracy_score(y_pred_nb, y_test)}")
print(f"F1 Score of Naive Bayes on test set : {f1_score(y_pred_nb, y_test, pos_label='anom')}")
print("\nClassification Report:")
print(classification_report(y_test, y_pred_nb))输出结果可能如下（示例）：
--- Naive Bayes Classifier ---
Accuracy of Naive Bayes on test set : 0.9806066633515664
F1 Score of Naive Bayes on test set : 0.9735234215885948
Classification Report:
precision recall f1-score support
anom 0.97 0.98 0.97 732
norm 0.99 0.98 0.98 1279
accuracy 0.98 2011
macro avg 0.98 0.98 0.98 2011
weighted avg 0.98 0.98 0.98 2011然后，我们训练和评估随机森林分类器。然而，在评估代码中，我们犯了一个常见的错误：
# 随机森林分类器 (错误示例)
rf_clf = RandomForestClassifier(random_state=42) # 添加random_state
rf_clf.fit(X_train, y_train)
y_pred_rf = rf_clf.predict(X_test) # 随机森林的预测结果
print("\n--- Random Forest Classifier (Problematic) ---")
# 错误地使用了y_pred_nb（或之前未定义的y_pred）来计算随机森林的指标
print(f"Accuracy of Random Forest on test set : {accuracy_score(y_pred_nb, y_test)}") # 错误：应为y_pred_rf
print(f"F1 Score of Random Forest on test set : {f1_score(y_pred_nb, y_test, pos_label='anom')}") # 错误：应为y_pred_rf
print("\nClassification Report:")
print(classification_report(y_test, y_pred_rf)) # 注意：这里Classification Report是正确的，因为它使用了y_pred_rf此时，输出的准确率和F1分数将与朴素贝叶斯的结果完全相同，而classification_report可能显示不同的结果，这进一步加剧了困惑。
原因分析：预测变量误用
上述问题现象的根本原因在于代码中的一个简单但关键的错误：在评估随机森林模型时，计算accuracy_score和f1_score的函数错误地引用了高斯朴素贝叶斯模型生成的预测结果变量（y_pred_nb），而不是随机森林模型自身生成的预测结果变量（y_pred_rf）。
由于y_pred_nb和y_test的组合在朴素贝叶斯模型评估时已经确定了特定的准确率和F1分数，当随机森林的评估代码再次使用y_pred_nb时，自然会得到完全相同的指标结果。而classification_report函数由于使用了正确的y_pred_rf，所以其输出会反映随机森林的真实性能，从而导致指标报告内部的不一致。
解决方案：修正预测变量引用
解决这个问题非常直接，只需将随机森林评估代码中的预测变量修正为它自己的预测结果y_pred_rf即可：
# 随机森林分类器 (修正后)
rf_clf = RandomForestClassifier(random_state=42)
rf_clf.fit(X_train, y_train)
y_pred_rf = rf_clf.predict(X_test) # 随机森林的预测结果
print("\n--- Random Forest Classifier (Corrected) ---")
# 使用正确的y_pred_rf来计算随机森林的指标
print(f"Accuracy of Random Forest on test set : {accuracy_score(y_pred_rf, y_test)}") # 已修正
print(f"F1 Score of Random Forest on test set : {f1_score(y_pred_rf, y_test, pos_label='anom')}") # 已修正
print("\nClassification Report:")
print(classification_report(y_test, y_pred_rf))修正后的代码将输出随机森林模型真实的性能指标，这些指标很可能与朴素贝叶斯模型的结果不同，反映了两种算法在数据集上的实际表现差异。
机器学习模型评估的最佳实践
为了避免此类常见错误并确保模型评估的准确性，以下是一些建议的最佳实践：
明确的变量命名： 为每个模型的预测结果使用独一无二、具有描述性的变量名。例如，y_pred_naive_bayes、y_pred_random_forest、y_pred_svm等。这有助于在代码中清晰地追踪每个模型的预测输出，减少混淆。
-
模块化评估代码： 将模型训练、预测和评估的逻辑封装成函数或类。例如，可以创建一个evaluate_model(model, X_test, y_test, model_name)函数，它接收模型对象和测试数据，并返回或打印所有相关指标。这样可以减少重复代码，降低因复制粘贴而引入错误的可能性。
def evaluate_model(model, X_test, y_test, model_name, pos_label='anom'): y_pred = model.predict(X_test) print(f"\n--- {model_name} Classifier ---") print(f"Accuracy of {model_name} on test set : {accuracy_score(y_pred, y_test)}") print(f"F1 Score of {model_name} on test set : {f1_score(y_pred, y_test, pos_label=pos_label)}") print("\nClassification Report:") print(classification_report(y_test, y_pred)) return y_pred # 可以选择返回预测结果 # 使用示例 # y_pred_nb = evaluate_model(nb_clf, X_test, y_test, "Naive Bayes") # y_pred_rf = evaluate_model(rf_clf, X_test, y_test, "Random Forest") 细致的代码审查： 在编写或修改代码后，特别是涉及到变量引用和函数参数时，务必进行细致的代码审查。当复制粘贴代码段时，要格外小心，确保所有变量引用都已更新并指向正确的上下文。
交叉验证与结果比对： 如果不同模型的性能指标异常地相似，或者与预期相去甚远，应立即怀疑代码中是否存在错误，并进行仔细检查。多角度地查看评估结果，例如同时查看准确率、F1分数、混淆矩阵和classification_report，有助于发现潜在的不一致。
版本控制： 使用Git等版本控制系统来管理代码。这不仅有助于跟踪代码变更，还能在出现问题时回溯到之前的版本，帮助定位错误引入点。
总结
在机器学习模型评估中，获得准确无误的性能指标是至关重要的。本文通过分析一个常见的代码错误——预测结果变量误用，揭示了不同模型产生相同指标的异常现象。通过规范的变量命名、模块化的代码设计、细致的代码审查以及多维度结果比对等最佳实践，我们可以有效避免此类问题，确保模型评估的严谨性和结论的可靠性。记住，即使是微小的代码错误也可能导致错误的结论，因此，严谨的代码习惯是机器学习项目成功的关键。
