最后更新: 2025-02-17 14:26 查看: 30 次反馈刷题

损失和正则化

逻辑回归 模型的训练过程与 线性回归 两个关键区别：

逻辑回归模型使用 对数损失函数作为损失函数 而不是平方损失函数。
应用正则化 是防止 过拟合。
以下部分更深入地讨论了这两个注意事项。

## 对数损失函数
在线性回归模块中， 您使用了平方损失函数（也称为 L2 损失函数）作为 损失函数。 平方损失非常适合用于线性 其中输出值的变化率恒定不变。例如： 给定线性模型 
，则每次递增输入值 则输出值 
 增加 3。

但是，逻辑回归模型的变化率不是常量。 如计算概率部分所述， S 型曲线为 S 形 而非线性模型。当对数几率 (
) 值接近 0 时， 与 
 较大时相比，
 的增加会导致 
 的变化幅度更大 正数或负数。下表显示了 S 型函数的 输入值的范围为 5 到 10，以及相应的精度 捕获结果差异所需的操作。
  ![图片](/uploads/2025-02/549bea.jpg)
  
  如果您使用平方损失来计算 $S$ 型函数的误差，因为 输出越来越接近 0 和 1 ，因此您需要更多内存才能并保留跟踪这些值所需的精度。

逻辑回归的损失函数是对数损失函数。通过对数损失方程式会返回变化幅度的对数，而不只是从数据到预测的距离。对数损失的计算公式为如下：
$\log \operatorname{Loss}=\sum_{(x, y) \in D}-y \log \left(y^{\prime}\right)-(1-y) \log \left(1-y^{\prime}\right)$
其中：
- $(x, y) \in D$ 是包含多个有标签样本的数据集，这些样本为 $(x, y)$ 对。
- $y$ 是有标签样本中的标签。由于这是逻辑回归，$y$ 的每个值都必须为 0 或 1 。
- $y^{\prime}$ 是模型的预测结果（介于 0 和 1 之间），给定集合 $x$ 中的功能。

## 逻辑回归中的正则化
正则化： 降低模型的复杂度，在逻辑研究中 回归模型。如果没有正则化，逻辑回归的渐近性质 回归会导致损失接近 0， 大量特征。因此，大多数逻辑回归模型都使用 降低模型复杂度：

L2 正则化

$L _2$ 正则化是一种常用的正则化指标，其使用以下公式：

$$
L_2 \text { regularization }=w_1^2+w_2^2+\ldots+w_n^2
$$

例如，下表显示了针对具有 6 个权重的模型计算 $L _2$ 正则化项的过程：
 ![图片](/uploads/2025-02/b54779.jpg)
 请注意，接近零的权重对 L2 正则化影响不大，但较大的权重可能会产生巨大影响。例如，在前面的计算中：

单个权重 (w3) 约占总复杂度的 93%。
其他 5 个权重加起来只占总复杂度的 7% 左右。
L2 正则化会使权重趋近 0，但绝不会使权重完全为零。
早停法： 限制训练步数，以便在损失曲线时停止训练 但仍在下降。

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：计算概率

下一篇：没有了

本文对您是否有用？有用 (0) 无用 (0)