线性回归与梯度下降中的数值稳定性挑战
线性回归是一种基础且广泛使用的预测模型，通过找到最佳的线性关系来拟合数据。当从零开始实现线性回归时，梯度下降法是求解模型参数（权重）的常用优化算法。然而，在实际操作中，如果不注意数据特性，梯度下降过程可能会遇到数值稳定性问题，例如runtimewarning: overflow encountered和runtimewarning: invalid value encountered等错误，这通常导致模型参数变为无穷大（inf）或非数字（nan），从而使训练失败。
问题诊断：为何出现溢出与NaN？
当输入特征（features）和目标值（targets）的数值范围过大时，梯度下降算法在迭代过程中极易出现数值溢出。这主要体现在以下几个方面：
假设函数（Hypothesis）的计算： hypothesis = np.dot(self.features, self.params) 在每一次迭代中，模型参数self.params会根据梯度进行更新。如果self.features的数值很大，即使self.params初始值不大，其乘积np.dot(self.features, self.params)也可能迅速变得非常大。
成本函数（Cost Function）的计算： cost_function = (1 / (2 * self.num_samples)) * np.dot((pred_vals - self.targets).T, pred_vals - self.targets) 成本函数通常采用均方误差（Mean Squared Error, MSE），其中包含误差项的平方。当pred_vals或self.targets数值过大时，它们的差值平方会急剧增大，导致成本函数的值迅速增长，甚至超出浮点数的表示范围，引发overflow。
参数更新（Parameter Update）过程： self.params = self.params - (alpha / self.num_samples) * (self.features.T @ (self.hypothesis() - self.targets)) 梯度更新项self.features.T @ (self.hypothesis() - self.targets)涉及特征矩阵的转置与误差项的矩阵乘法。如果self.features和误差项（self.hypothesis() - self.targets）的数值都很大，这个乘积会变得非常巨大，导致self.params在一次更新后就直接跳变到inf。一旦参数变为inf，后续的计算（如inf - inf）将产生NaN，从而使整个训练过程崩溃。
上述问题在提供的代码示例中表现尤为明显：
class LinearRegression:
def __init__(
self,
features: np.ndarray[np.float64],
targets: np.ndarray[np.float64],
) -> None:
self.features = np.concatenate((np.ones((features.shape[0], 1)), features), axis=1)
self.targets = targets
self.params = np.random.randn(features.shape[1] + 1)
self.num_samples = features.shape[0]
self.num_feats = features.shape[1]
self.costs = []
def hypothesis(self) -> np.ndarray[np.float64]:
return np.dot(self.features, self.params)
def cost_function(self) -> np.float64:
pred_vals = self.hypothesis()
# 注意：原始问题描述中可能存在对成本函数公式的误解或不同版本，
# 但核心问题在于大数值运算导致的溢出。
return (1 / (2 * self.num_samples)) * np.dot((pred_vals - self.targets).T, pred_vals - self.targets)
def update(self, alpha: np.float64) -> None:
self.params = self.params - (alpha / self.num_samples) * (self.features.T @ (self.hypothesis() - self.targets))
def gradientDescent(self, alpha: np.float64, threshold: np.float64, max_iter: int) -> None:
converged = False
counter = 0
while not converged:
counter += 1
curr_cost = self.cost_function()
self.costs.append(curr_cost)
self.update(alpha)
new_cost = self.cost_function()
if abs(new_cost - curr_cost) < threshold:
converged = True
if counter > max_iter:
converged = True
当使用如features=np.linspace(0, 1000, 200).reshape((20, 10))和targets=np.linspace(0, 200, 20)这样包含大数值的输入时，很快就会遇到RuntimeWarning: overflow encountered in matmul和RuntimeWarning: invalid value encountered in scalar subtract等错误。
数据缩放：解决方案的核心
解决梯度下降数值稳定性问题的关键策略是数据缩放（Data Scaling）。数据缩放通过改变特征和目标值的数值范围，使其落在更小的、更易于处理的区间内，从而避免计算过程中的溢出。常用的数据缩放方法包括：
- 标准化（Standardization / Z-score Normalization）：将数据转换成均值为0，标准差为1的分布。公式为 (x - mean) / std_dev。
- 归一化（Normalization / Min-Max Scaling）：将数据缩放到一个固定的范围，通常是[0, 1]或[-1, 1]。公式为 (x - min) / (max - min)。
对于本例中的问题，简单地将输入数据除以一个适当的常数（例如1000）就可以有效地将数据范围缩小，从而解决溢出问题。这种方法虽然不是标准的标准化或归一化，但在数据范围已知且所有值都为正的情况下，能够快速有效地解决数值过大的问题。
修正后的代码示例
为了解决上述数值溢出问题，我们只需要在实例化LinearRegression类时，对输入features和targets进行适当的缩放。以下是修正后的使用示例：
import numpy as np
# 假设 LinearRegression 类已定义如上
# 修正后的数据输入：将原始大数值数据按比例缩小
# 例如，将范围从 [0, 1000] 缩小到 [0, 1] 或更小的范围
scaled_features = np.linspace(0, 1000, 200, dtype=np.float64).reshape((20, 10)) / 1000
scaled_targets = np.linspace(0, 200, 20, dtype=np.float64) / 1000
# 使用缩放后的数据实例化并运行梯度下降
regr = LinearRegression(features=scaled_features, targets=scaled_targets)
regr.gradientDescent(0.1, 1e-3, 1e+3)
# 打印最终的成本函数值
final_cost = regr.cost_function()
print(f"训练后的最终成本: {final_cost}")
# 示例输出可能为：训练后的最终成本: 0.00474225348416323通过将features和targets都除以1000，我们成功地将它们的数值范围缩小，从而避免了在梯度下降过程中出现overflow和NaN的错误。模型现在能够稳定地收敛，并给出一个有效的成本函数值。
实践建议与注意事项
- 数据预处理的重要性：数据缩放是机器学习工作流程中至关重要的预处理步骤。它不仅能解决数值稳定性问题，还能加速梯度下降的收敛速度，并提高模型的性能。
- 选择合适的缩放方法：根据数据的分布特性和模型的要求，选择合适的缩放方法。对于大多数情况，标准化（sklearn.preprocessing.StandardScaler）或归一化（sklearn.preprocessing.MinMaxScaler）是首选。
- 学习率（alpha）的选择：即使数据经过缩放，学习率alpha的选择依然关键。过大的学习率可能导致振荡或发散，过小的学习率则会使收敛速度过慢。通常需要通过实验来找到最佳的学习率。
- 监控成本函数：在训练过程中，持续监控成本函数的值是诊断问题和评估模型收敛情况的有效方法。成本函数应随着迭代次数的增加而逐渐减小并趋于稳定。
- 调试数值问题：当遇到inf或NaN等数值错误时，应检查涉及的变量（如模型参数、梯度、成本函数）在计算过程中的中间值，以定位问题发生的确切位置。
- 数值精度：在Python中使用NumPy时，默认的数据类型通常是float64，这提供了足够的精度。但在极端情况下，如果数据范围仍然非常大，可能需要考虑更高精度的浮点数类型（如果语言或库支持）。
通过理解梯度下降的数值特性并恰当地进行数据预处理，我们可以有效地避免常见的数值稳定性问题，确保线性回归模型的成功训练和应用。
