在机器学习项目中，余弦相似度是一个常用的度量指标，用于衡量两个向量之间的相似程度。然而，有时开发者会遇到余弦相似度始终为1的奇怪现象。这种情况通常并非bug，而是由于对余弦相似度的理解不够深入造成的。本文将深入探讨这个问题，并通过代码示例，提供清晰的解释和解决方案。
理解余弦相似度
余弦相似度衡量的是两个向量方向上的相似性，而不是它们的大小。这意味着，即使两个向量的模长不同，只要它们指向相同的方向，其余弦相似度仍然为1。
余弦相似度的计算公式如下：
similarity = (A · B) / (||A|| * ||B||)
其中，A · B 表示向量 A 和 B 的点积，||A|| 和 ||B|| 分别表示向量 A 和 B 的模长。
代码分析
以下面代码为例，分析余弦相似度始终为1的原因：
for i, (_image1, _label1) in enumerate(train_loader):
image1 = _image1.to(DEVICE)
label1 = _label1[0]
vector1_tensor = model(image1)
if (i == 0): #Exception Case
image2 = image1
label2 = label1
vector2_tensor = vector1_tensor
#PROBLEM LOCATION
similarity = F.cosine_similarity(vector1_tensor, vector2_tensor, dim = -1)
scaled_similarity = torch.sigmoid(similarity)
if label1 == label2:
target_vector = [1]
else :
target_vector = [0]
target_tensor = torch.tensor(target_vector).float()
target_tensor = target_tensor.to(DEVICE)
optimizer.zero_grad()
cost = loss(scaled_similarity, target_tensor)
cost.backward()
optimizer.step()
if not i % 40:
print (f'Epoch: {epoch:03d}/{EPOCH:03d} | '
f'Batch {i:03d}/{len(train_loader):03d} |'
f' Cost: {cost:.4f}')
#Recycle tensor for reduced computation
image2 = image1.clone()
label2 = label1
vector2_tensor = vector1_tensor.detach()在这段代码中，vector1_tensor 和 vector2_tensor 是通过模型 model 处理图像得到的向量。在第一次迭代时，vector2_tensor 被初始化为 vector1_tensor 的值。关键在于，在后续的迭代中，vector2_tensor 被更新为 上一次 迭代的 vector1_tensor 的 detach()版本。detach() 操作会创建一个新的 tensor，该 tensor 与原始 tensor 共享数据，但不会记录梯度。
这意味着，在计算余弦相似度时，实际上是在比较 当前 图像的特征向量和 上一次 图像的特征向量。 如果模型输出的向量在连续的批次中变化不大，或者模型收敛到一个状态，使得连续批次的向量方向非常接近，那么余弦相似度就会接近于1。
解决方案与建议
检查模型输出的向量变化程度: 使用不同的输入数据，观察 vector1_tensor 的变化情况。如果变化很小，说明模型可能存在问题，例如梯度消失或者模型过于简单。
确保向量具有区分性: 理想情况下，相似的输入应该产生相似的向量，而不同的输入应该产生不同的向量。如果模型无法区分不同的输入，那么余弦相似度很可能会趋近于1。可以尝试调整模型的结构，例如增加层数或者使用更复杂的激活函数。
检查数据预处理: 确保数据预处理步骤正确无误。如果数据存在偏差或者噪声，可能会影响模型的训练效果，导致输出的向量相似度过高。
考虑使用其他相似度度量方法: 余弦相似度并非唯一的选择。可以尝试使用其他相似度度量方法，例如欧氏距离或者曼哈顿距离，来评估向量之间的相似性。这些方法对向量的大小也比较敏感，可能更适合某些特定的应用场景。
-
Debug技巧:
- 打印 vector1_tensor 和 vector2_tensor 的值，观察它们的数值范围和分布。
- 计算 vector1_tensor 和 vector2_tensor 的均值和方差，比较它们之间的差异。
- 可视化 vector1_tensor 和 vector2_tensor，例如使用 t-SNE 或者 PCA 降维后进行可视化。
代码改进示例
以下代码展示了一种可能的改进方法，通过比较当前图像和随机选择的历史图像的特征向量，来避免余弦相似度始终为1的问题：
import random
# 存储历史特征向量
history_vectors = []
for i, (_image1, _label1) in enumerate(train_loader):
image1 = _image1.to(DEVICE)
label1 = _label1[0]
vector1_tensor = model(image1)
# 随机选择一个历史特征向量
if history_vectors:
vector2_tensor = random.choice(history_vectors)
else:
vector2_tensor = vector1_tensor # 第一次迭代
similarity = F.cosine_similarity(vector1_tensor, vector2_tensor, dim = -1)
scaled_similarity = torch.sigmoid(similarity)
if label1 == label2: # label2 的值需要根据 vector2_tensor 对应的图像标签来确定
target_vector = [1]
else :
target_vector = [0]
target_tensor = torch.tensor(target_vector).float()
target_tensor = target_tensor.to(DEVICE)
optimizer.zero_grad()
cost = loss(scaled_similarity, target_tensor)
cost.backward()
optimizer.step()
if not i % 40:
print (f'Epoch: {epoch:03d}/{EPOCH:03d} | '
f'Batch {i:03d}/{len(train_loader):03d} |'
f' Cost: {cost:.4f}')
# 将当前特征向量添加到历史记录中
history_vectors.append(vector1_tensor.detach())注意事项:
- 确保 label2 的值与随机选择的 vector2_tensor 对应的图像标签一致。
- history_vectors 的大小需要进行控制，避免占用过多内存。可以使用队列或者固定大小的列表来存储历史向量。
总结
余弦相似度始终为1并非总是错误，但需要仔细分析其背后的原因。通过理解余弦相似度的本质，检查模型输出，调整模型结构，以及尝试其他相似度度量方法，可以有效地解决这个问题，并提高模型的性能。在实践中，调试和实验是关键，通过不断尝试和改进，才能找到最适合特定应用场景的解决方案。
