1. 问题现象：PyTorch与TensorFlow的精度差异
在深度学习模型开发过程中，开发者常会遇到在不同框架下实现相似模型时，评估指标出现显著差异的情况。一个典型的二分类问题中，我们观察到以下现象：使用pytorch实现的模型在测试集上仅获得约2.5%的精度，而结构和配置几乎相同的tensorflow模型却能达到约86%的精度。这种巨大的差异通常不是由模型性能本身引起，而是暗示了其中一个框架的评估逻辑可能存在根本性错误。
2. 模型结构与训练配置概览
为了更好地理解问题，我们首先审视两个框架中模型的结构和训练配置。
2.1 PyTorch模型与训练设置
PyTorch模型是一个简单的多层感知机（MLP），包含两个ReLU激活的隐藏层和一个Sigmoid激活的输出层，适用于二分类任务。
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
# 假设数据加载和预处理已完成
# data = pd.read_csv('your_data.csv')
# train, test = train_test_split(data, test_size=0.056, random_state=42)
# train_X_np = train[["A","B","C", "D"]].to_numpy()
# test_X_np = test[["A","B", "C", "D"]].to_numpy()
# train_Y_np = train[["label"]].to_numpy()
# test_Y_np = test[["label"]].to_numpy()
# train_X = torch.tensor(train_X_np, dtype=torch.float32)
# test_X = torch.tensor(test_X_np, dtype=torch.float32)
# train_Y = torch.tensor(train_Y_np, dtype=torch.float32)
# test_Y = torch.tensor(test_Y_np, dtype=torch.float32)
# train_dataset = TensorDataset(train_X, train_Y)
# batch_size = 64
# train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
class SimpleClassifier(nn.Module):
def __init__(self, input_size, hidden_size1, hidden_size2, output_size):
super(SimpleClassifier, self).__init__()
self.fc1 = nn.Linear(input_size, hidden_size1)
self.relu1 = nn.ReLU()
self.fc2 = nn.Linear(hidden_size1, hidden_size2)
self.relu2 = nn.ReLU()
self.fc3 = nn.Linear(hidden_size2, output_size)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
x = self.relu1(self.fc1(x))
x = self.relu2(self.fc2(x))
x = self.sigmoid(self.fc3(x))
return x
# input_size = train_X.shape[1]
# hidden_size1 = 64
# hidden_size2 = 32
# output_size = 1
# model = SimpleClassifier(input_size, hidden_size1, hidden_size2, output_size)
# criterion = nn.BCELoss()
# optimizer = optim.Adam(model.parameters(), lr=0.001)
# # 原始PyTorch训练循环中的评估部分（存在错误）
# num_epochs = 50
# for epoch in range(num_epochs):
# # ... (训练代码略)
# with torch.no_grad():
# model.eval()
# predictions = model(test_X).squeeze()
# predictions_binary = (predictions.round()).float()
# accuracy = torch.sum(predictions_binary == test_Y) / (len(test_Y) * 100) # 错误在此行
# if(epoch%25 == 0):
# print("Epoch " + str(epoch) + " passed. Test accuracy is {:.2f}%".format(accuracy))PyTorch模型使用nn.BCELoss作为损失函数，optim.Adam作为优化器。问题主要出现在评估阶段的精度计算逻辑。
2.2 TensorFlow模型与训练设置
TensorFlow模型同样使用Keras的Sequential API构建了一个相似的MLP结构。
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
# import numpy as np # 假设 train_X, train_Y, test_X, test_Y 已经准备好为 numpy 数组
# # 假设数据加载和预处理已完成
# # model_tf = Sequential()
# # model_tf.add(Dense(64, input_dim=len(train_X[0]), activation='relu'))
# # model_tf.add(Dense(32, activation='relu'))
# # model_tf.add(Dense(1, activation='sigmoid'))
# # Compile the model
# # model_tf.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# # model_tf.fit(train_X, train_Y, epochs=50, batch_size=64, verbose=0)
# # Evaluate the model
# # loss_tf, accuracy_tf = model_tf.evaluate(test_X, test_Y, verbose=0)
# # print(f"Loss: {loss_tf}, Accuracy: {accuracy_tf}")TensorFlow模型在编译时直接指定了metrics=['accuracy']，这使得其在训练和评估时能够自动计算并报告正确的精度。
通过对比可以看出，两个框架的模型结构、损失函数和优化器选择都非常相似，主要的差异在于PyTorch的精度计算是手动实现，而TensorFlow则使用了内置的可靠指标。
3. PyTorch精度计算的症结所在
问题的核心在于PyTorch评估代码中的精度计算方式。
3.1 错误代码分析
原始PyTorch代码中的精度计算如下：
accuracy = torch.sum(predictions_binary == test_Y) / (len(test_Y) * 100)
让我们逐步分析这行代码：
- predictions_binary == test_Y：这是一个布尔张量，表示每个预测是否与真实标签匹配。
- torch.sum(...)：计算布尔张量中 True 的数量，即正确分类的样本数。
- len(test_Y)：获取测试集中的总样本数。
- (len(test_Y) * 100)：这是问题的关键所在。分母被错误地乘以了100。
正确的精度计算逻辑应该是：（正确分类样本数 / 总样本数） * 100%。 例如，如果有86个正确预测和100个总样本，实际精度应为 (86 / 100) * 100% = 86%。 然而，原始代码的计算是 (86 / (100 * 100))，即 86 / 10000 = 0.0086。如果再将其格式化为百分比，就会显示为 0.86%，或者在某些情况下，如果期望输出的是0-100的数值，则会是 0.86，与86%相去甚远。原始代码中 format("{:.2f}%".format(accuracy)) 会将 0.0086 格式化为 0.86%，而不是 86.00%。 因此，PyTorch代码中2.5%的低精度实际上是由于计算公式中分母多乘了一个100，导致最终结果被额外缩小了100倍。
3.2 正确的精度计算方法
为了获得正确的百分比精度，我们需要修正计算公式：
# 假设 predictions_binary 是模型输出经过 Sigmoid 后，再四舍五入得到的二值预测 (0或1) # 假设 test_Y 是真实的二值标签 (0或1) # 计算正确预测的数量 correct_predictions = (predictions_binary == test_Y).sum().item() # 获取总样本数 total_samples = test_Y.size(0) # 或者 len(test_Y) # 计算精度（0-100
