本文详解如何使用 pytorch 构建一个单层全连接神经网络（mlp）来学习两个实数的加法运算，涵盖数据生成、模型训练、推理预测及权重解析，帮助初学者理解神经网络拟合线性函数的本质。
本文详解如何使用 pytorch 构建一个单层全连接神经网络（mlp）来学习两个实数的加法运算，涵盖数据生成、模型训练、推理预测及权重解析，帮助初学者理解神经网络拟合线性函数的本质。
在深度学习入门实践中，“让神经网络学会加法”是一个经典而富有启发性的任务。它看似简单，却能清晰揭示模型如何通过梯度优化逼近线性映射关系。本文将带你从零实现一个仅含一个 Linear(D=2, C=1) 层的多层感知机（MLP），完成对加法函数 $ y = x_1 + x_2 $ 的端到端学习，并重点解决“训练后如何正确进行前向推理”这一常见困惑。
✅ 正确的推理方式：前向传播即预测
与生成式模型（如 GAN、Diffusion）不同，标准 MLP 没有 .generate() 方法。你遇到的 model.generate(idx, 50) 报错正是因为该方法并不存在于 torch.nn.Sequential 或 torch.nn.Linear 中。正确的预测方式极其简洁：直接调用模型对象传入输入张量即可触发前向传播（forward pass）：
y_pred = model(X_new) # ✅ 正确：X_new shape: (N, 2) → y_pred shape: (N, 1)
只要输入张量 X_new 的第二维（特征数）与模型输入维度一致（此处为 2），PyTorch 就会自动完成矩阵乘法与偏置加法：
$$
\mathbf{y}{\text{pred}} = \mathbf{X}{\text{new}} \cdot \mathbf{W}^\top + \mathbf{b}
$$
? 完整可运行示例代码
以下是一个结构清晰、带关键注释的完整实现，已修复原代码中的学习率、训练循环和推理逻辑问题：
import torch
import torch.nn as nn
import torch.optim as optim
# 固定随机种子，确保可复现
torch.manual_seed(42)
# 数据配置
N, D, C = 1000, 2, 1 # 样本数、输入维、输出维
lr = 1e-1 # ⚠️ 关键调整：原 1e-2 收敛慢，1e-1 更稳定高效
# 生成训练数据：X ∈ [0,1)^2，y = x₁ + x₂
X = torch.rand(N, D)
y = X.sum(dim=1, keepdim=True) # 等价于 torch.sum(X, axis=-1).reshape(-1,1)
print(f"X.shape: {X.shape}, y.shape: {y.shape}")
print(f"X[:3]:\n{X[:3]}")
print(f"y[:3]:\n{y[:3]}")
# 构建模型：单层线性变换（无激活函数 → 保持线性）
model = nn.Sequential(nn.Linear(D, C))
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=lr)
# 训练循环
print("\n? 开始训练...")
for epoch in range(500):
optimizer.zero_grad() # 清空梯度（必需！）
y_pred = model(X) # 前向传播
loss = criterion(y_pred, y) # 计算损失
loss.backward() # 反向传播
optimizer.step() # 参数更新
if epoch % 50 == 0:
print(f"Epoch {epoch+1:3d} | Loss: {loss.item():.2e}")
# ? 模型推理：对新样本进行预测
print("\n? 测试泛化能力（5 组新随机数）：")
with torch.no_grad(): # 推理时禁用梯度，节省内存 & 加速
for _ in range(5):
X_test = torch.rand(1, D) # 新样本：形状 (1, 2)
y_test_pred = model(X_test).item() # 获取标量预测值
true_sum = X_test.sum().item()
print(f"{X_test[0,0]:.2f} + {X_test[0,1]:.2f} = {true_sum:.2f} | 预测: {y_test_pred:.2f}")
# ? 解析学得的参数（验证是否学到 y = x₁ + x₂）
print(f"\n? 模型学得的权重与偏置：")
for name, param in model.named_parameters():
print(f"{name}: {param.data}")⚠️ 关键注意事项
- 无需非线性激活：加法是线性操作，隐藏层或 ReLU 等非线性会阻碍最优解收敛，应保持纯线性结构。
- 学习率敏感性：1e-2 在本任务中收敛缓慢；1e-1 能在百轮内达 1e-15 级损失，体现超参调优的重要性。
- optimizer.zero_grad() 不可省略：否则梯度会跨 batch 累积，导致训练崩溃。
- 推理务必 torch.no_grad()：避免构建计算图，提升速度并防止显存泄漏。
- 权重解读：理想情况下，训练后 weight = [[1.0, 1.0]]，bias ≈ 0（如答案中 2.37e-9），直观证明网络已“理解”加法规则。
? 总结
这个极简 MLP 加法器虽无实用价值，却是理解神经网络本质的绝佳入口：它证实了——即使最基础的线性模型，也能通过梯度下降精确学习确定性数学函数。当你看到 weight 收敛至 [1,1] 时，便真正触摸到了“学习”的物理含义。下一步，可尝试扩展为三位数加法、引入噪声鲁棒性，或对比不同优化器表现，深化对监督学习机制的理解。
