本文深入剖析 PyTorch 自定义网络中邻接矩阵（adjacency matrix）不参与梯度更新的根本原因：nn.Parameter 未被正向传播路径实际使用，且动态构造的矩阵未注册为可学习参数。提供可立即验证的修复方案与最佳实践。
本文深入剖析 pytorch 自定义网络中邻接矩阵（adjacency matrix）不参与梯度更新的根本原因：`nn.parameter` 未被正向传播路径实际使用，且动态构造的矩阵未注册为可学习参数。提供可立即验证的修复方案与最佳实践。
在 PyTorch 中，只有显式声明为 nn.Parameter 的张量，并且在 forward 函数中被实际用于计算图（computation graph）的节点，才能接收梯度并随优化器更新。原代码存在两个关键缺陷，直接导致权重“静默失效”：
? 根本问题解析
adjacency_matrix 不是可学习参数
尽管调用了 .requires_grad_(True)，但 self.adjacency_matrix = self.make_subdiagonal_matrix().requires_grad_(True) 创建的是一个普通张量（Tensor），而非 nn.Parameter。PyTorch 的 nn.Module 仅自动管理其 named_parameters() 中注册的参数（即 nn.Parameter 实例），而 requires_grad=True 的普通张量不会被 optimizer.step() 更新。subdiagonal_block 未进入计算图
self.subdiagonal_block 虽被正确定义为 nn.Parameter，但在 forward 中完全未被使用——make_subdiagonal_matrix() 在 __init__ 中被调用一次并缓存结果，此后 self.adjacency_matrix 是静态张量，与 self.subdiagonal_block 无动态关联。因此，即使 subdiagonal_block 有梯度，它也从未影响前向输出，梯度自然为零。
✅ 正确做法：所有可学习结构必须通过 nn.Parameter 声明，并在 forward 中直接参与运算；避免在 __init__ 中预计算依赖参数的中间矩阵。
✅ 正确实现：将邻接矩阵构建逻辑移入 forward
以下为修复后的完整类，确保 subdiagonal_block 是唯一可学习参数，且每次前向传播都基于其当前值动态构建有效邻接结构：
import torch
import torch.nn as nn
class SimpleDirectNetworkWithAdjacency(nn.Module):
def __init__(self, input_dim, middle_dim, output_dim):
super().__init__()
self.input_dim = input_dim
self.output_dim = output_dim
self.total_dim = input_dim + output_dim
# ✅ 唯一可学习参数：仅此一个 nn.Parameter
self.subdiagonal_block = nn.Parameter(
torch.empty(output_dim, input_dim)
)
nn.init.normal_(self.subdiagonal_block, mean=0.0, std=0.1)
def forward(self, batch_of_inputs):
# 输入展平：[B, C, H, W] → [B, D_in]
B = batch_of_inputs.size(0)
flat_inputs = batch_of_inputs.view(B, -1) # shape: [B, input_dim]
# ✅ 动态构建邻接矩阵（每次 forward 都重建，保证梯度连通）
over_block = torch.zeros(self.input_dim, self.input_dim,
device=flat_inputs.device, dtype=flat_inputs.dtype)
side_block = torch.zeros(self.total_dim, self.output_dim,
device=flat_inputs.device, dtype=flat_inputs.dtype)
# 拼接：top-left = zeros, bottom-left = subdiagonal_block
top_part = torch.cat([over_block, self.subdiagonal_block], dim=0) # [input+output, input]
adjacency_matrix = torch.cat([top_part, side_block], dim=1) # [total, total]
# 构造输入向量：[input_dim + output_dim, B]，后半部分补零
zero_padding = torch.zeros(self.output_dim, B,
device=flat_inputs.device, dtype=flat_inputs.dtype)
inputs_padded = torch.cat([flat_inputs.t(), zero_padding], dim=0) # [total, B]
# 矩阵乘法：y_total = A @ x_padded
y_total = torch.mm(adjacency_matrix, inputs_padded) # [total, B]
# 提取 logits：取最后 output_dim 行，转置为 [B, output_dim]
logits = y_total[-self.output_dim:].t() # [B, output_dim]
return logits⚠️ 关键注意事项
- 设备与数据类型一致性：所有中间张量（如 over_block, side_block）必须与输入 flat_inputs 同设备（.device）和同数据类型（.dtype），否则会触发隐式类型转换或跨设备错误。
- 避免 torch.cat 引入不可微操作：此处所有拼接操作均为可微的（torch.cat 是可导算子），无需额外处理。
-
梯度验证（调试建议）：训练前可插入断点检查：
print("subdiagonal_block.grad:", model.subdiagonal_block.grad) # 初始为 None loss.backward() print("subdiagonal_block.grad after backward:", model.subdiagonal_block.grad) # 应为非 None 张量 - 性能考量：若 input_dim 和 output_dim 较大，频繁构建大矩阵可能影响速度。此时可考虑使用稀疏矩阵（torch.sparse）或重写为等效的 torch.einsum/torch.bmm 形式，但绝不可牺牲梯度连通性。
✅ 总结
| 错误模式 | 正确做法 |
|---|---|
| 在 __init__ 中预计算含参数的矩阵并赋值给普通属性 | 所有依赖 nn.Parameter 的结构必须在 forward 中动态构建 |
| 对普通张量调用 .requires_grad_(True) 试图使其可学习 | 仅 nn.Parameter 实例会被 nn.Module 自动注册并由优化器更新 |
| 定义了 nn.Parameter 却未在 forward 中使用 | 确保每个 nn.Parameter 至少一次参与 forward 计算图 |
遵循上述原则，即可在保留“全局邻接矩阵”建模思想的同时，确保 PyTorch 的自动微分机制正常工作——模型将真正开始学习，权重矩阵也将按预期更新。
