在pytorch模型训练中，参数不更新是一个常见问题，通常是由于学习率设置过低，导致每次迭代的参数更新幅度远小于参数自身的量级或梯度幅度。本文将深入分析这一现象，并通过示例代码演示，解释如何通过调整学习率来有效解决参数停滞不前的问题，并提供优化学习率的实践建议。
PyTorch参数不更新的常见原因与诊断
在使用PyTorch进行深度学习模型训练时，开发者有时会遇到模型参数似乎没有更新的困惑。尽管代码逻辑看起来正确，包括计算损失、反向传播和优化器步进，但参数值却保持不变或变化微乎其微。这通常不是代码逻辑错误，而是超参数设置不当，特别是学习率（learning rate）过低所致。
考虑以下一个简单的优化问题示例，目标是调整 x_param 以使其经过一系列计算后得到的权重向量 w 尽可能接近 target_weights_vec：
import torch
import numpy as np
np.random.seed(10)
def optimize(final_shares: torch.Tensor, target_weight, prices, loss_func=None):
"""
计算基于当前份额的权重向量，并与目标权重计算损失。
"""
final_shares = final_shares.clamp(0.) # 确保份额非负
mv = torch.multiply(final_shares, prices)
w = torch.div(mv, torch.sum(mv))
# print(w) # 调试时可打印权重
return loss_func(w, target_weight)
def main():
position_count = 16
cash_buffer = .001
starting_shares = torch.tensor(np.random.uniform(low=1, high=50, size=position_count), dtype=torch.float64)
prices = torch.tensor(np.random.uniform(low=1, high=100, size=position_count), dtype=torch.float64)
prices[-1] = 1.
# 待优化的参数，requires_grad=True 确保其梯度会被计算
x_param = torch.nn.Parameter(starting_shares, requires_grad=True)
# 定义目标权重
target_weights = ((1 - cash_buffer) / (position_count - 1))
target_weights_vec = [target_weights] * (position_count - 1)
target_weights_vec.append(cash_buffer)
target_weights_vec = torch.tensor(target_weights_vec, dtype=torch.float64)
loss_func = torch.nn.MSELoss() # 使用均方误差作为损失函数
eta = 0.01 # 学习率
optimizer = torch.optim.SGD([x_param], lr=eta) # 使用SGD优化器
for epoch in range(10000):
optimizer.zero_grad() # 清零梯度
loss_incurred = optimize(final_shares=x_param, target_weight=target_weights_vec,
prices=prices, loss_func=loss_func)
loss_incurred.backward() # 反向传播计算梯度
# 打印梯度信息 (可选，用于诊断)
# if epoch % 1000 == 0:
# print(f"Epoch {epoch}, Loss: {loss_incurred.item():.6f}, Avg Grad: {x_param.grad.abs().mean().item():.8f}")
optimizer.step() # 更新参数
print("\nOptimization finished. Final x_param:")
print(x_param)
print("Final loss:")
final_loss = optimize(final_shares=x_param.data, target_weight=target_weights_vec,
prices=prices, loss_func=loss_func)
print(final_loss.item())
if __name__ == '__main__':
main()运行上述代码，即使经过10000个epoch，x_param 的值可能看起来并没有发生显著变化，或者损失值下降非常缓慢。
根本原因分析：学习率与梯度尺度的不匹配
问题的核心在于学习率 eta（0.01）相对于梯度的平均幅度和参数自身的量级来说太小了。
- 梯度幅度过小： 在这个特定的例子中，通过分析可以发现，在训练过程中，计算出的平均梯度幅度可能非常小，例如大约 1e-5。
- 参数更新计算： 优化器更新参数的公式大致为 parameter = parameter - learning_rate * gradient。 如果 learning_rate = 0.01 且 average_gradient = 1e-5，那么每次迭代的平均参数更新幅度将是 0.01 * 1e-5 = 1e-7。
- 参数量级： 初始的 x_param 值（starting_shares）在1到50之间，平均值约为24。 与参数本身的量级（~24）相比，每次迭代 1e-7 的更新幅度微不足道。要使参数值移动1个单位，大约需要 1 / 1e-7 = 10,000,000 次迭代。
因此，即使进行了10000次迭代，参数的累积变化也只有 10000 * 1e-7 = 1e-3，这在视觉上几乎无法察觉，也无法有效降低损失。
解决方案：调整学习率
解决这个问题的直接方法是显著提高学习率。
实践步骤
- 评估梯度和参数量级： 在训练初期，可以打印或监控梯度的平均绝对值 (x_param.grad.abs().mean()) 和参数的平均绝对值 (x_param.abs().mean())。这将帮助你了解它们的典型尺度。
-
增大学习率： 根据梯度和参数的量级，将学习率调整到一个更大的值。例如，如果将 eta 从 0.01 调整到 100，每次更新的幅度将变为 100 * 1e-5 = 1e-3。
# ... eta = 100 # 将学习率显著提高 optimizer = torch.optim.SGD([x_param], lr=eta) # ...
通过这种调整，参数在10000次迭代中的累积变化将达到 10000 * 1e-3 = 10，这将导致参数发生显著变化，并使损失函数有效收敛。
注意事项与最佳实践
- 学习率调度器： 在实际应用中，通常不会使用一个固定的高学习率贯穿整个训练过程。过高的学习率可能导致训练不稳定，甚至发散。常见的做法是使用学习率调度器（Learning Rate Scheduler），例如 torch.optim.lr_scheduler.StepLR 或 torch.optim.lr_scheduler.ReduceLROnPlateau，在训练过程中逐步降低学习率。
- 学习率范围测试： 对于新的模型或任务，进行学习率范围测试（Learning Rate Range Test）是一个很好的实践。从一个非常小的学习率开始，逐渐增加，观察损失函数的变化，找到一个能使损失快速下降的“甜点”。
- 优化器选择： 不同的优化器（如Adam, RMSprop等）对学习率的敏感度不同。Adam等自适应学习率优化器通常对初始学习率的选择不那么敏感，因为它会根据梯度的历史信息动态调整每个参数的学习率。然而，即使是Adam，一个极端的学习率也可能导致问题。
- 梯度裁剪： 如果梯度幅度非常大（可能导致参数更新过大而发散），可以考虑使用梯度裁剪（Gradient Clipping）来限制梯度的最大值。
- 损失函数与数据缩放： 确保损失函数的设计合理，并且输入数据经过适当的归一化或标准化，这有助于保持梯度在一个合理的范围内。
总结
当PyTorch模型参数在训练循环中不更新时，首先应检查学习率的设置。一个过低的学习率是导致参数停滞不前的最常见原因。通过分析梯度和参数的量级，并相应地调整学习率，通常可以解决这个问题。同时，结合学习率调度器、学习率范围测试以及适当的优化器选择，可以更有效地训练深度学习模型，确保参数能够正确且高效地更新。
