最后更新: 2025-02-17 14:26 查看: 92 次纠错评论(0) 课件开VIP

损失和正则化

逻辑回归 模型的训练过程与 线性回归 两个关键区别：

逻辑回归模型使用 对数损失函数作为损失函数 而不是平方损失函数。
应用正则化 是防止 过拟合。
以下部分更深入地讨论了这两个注意事项。

## 对数损失函数
在线性回归模块中， 您使用了平方损失函数（也称为 L2 损失函数）作为 损失函数。 平方损失非常适合用于线性 其中输出值的变化率恒定不变。例如： 给定线性模型 
，则每次递增输入值 则输出值 
 增加 3。

但是，逻辑回归模型的变化率不是常量。 如计算概率部分所述， S 型曲线为 S 形 而非线性模型。当对数几率 (
) 值接近 0 时， 与 
 较大时相比，
 的增加会导致 
 的变化幅度更大 正数或负数。下表显示了 S 型函数的 输入值的范围为 5 到 10，以及相应的精度 捕获结果差异所需的操作。
  ![图片](/uploads/2025-02/549bea.jpg)
  
  如果您使用平方损失来计算 $S$ 型函数的误差，因为 输出越来越接近 0 和 1 ，因此您需要更多内存才能并保留跟踪这些值所需的精度。

逻辑回归的损失函数是对数损失函数。通过对数损失方程式会返回变化幅度的对数，而不只是从数据到预测的距离。对数损失的计算公式为如下：
$\log \operatorname{Loss}=\sum_{(x, y) \in D}-y \log \left(y^{\prime}\right)-(1-y) \log \left(1-y^{\prime}\right)$
其中：
- $(x, y) \in D$ 是包含多个有标签样本的数据集，这些样本为 $(x, y)$ 对。
- $y$ 是有标签样本中的标签。由于这是逻辑回归，$y$ 的每个值都必须为 0 或 1 。
- $y^{\prime}$ 是模型的预测结果（介于 0 和 1 之间），给定集合 $x$ 中的功能。

## 逻辑回归中的正则化
正则化： 降低模型的复杂度，在逻辑研究中 回归模型。如果没有正则化，逻辑回归的渐近性质 回归会导致损失接近 0， 大量特征。因此，大多数逻辑回归模型都使用 降低模型复杂度：

L2 正则化

$L _2$ 正则化是一种常用的正则化指标，其使用以下公式：

$$
L_2 \text { regularization }=w_1^2+w_2^2+\ldots+w_n^2
$$

例如，下表显示了针对具有 6 个权重的模型计算 $L _2$ 正则化项的过程：
 ![图片](/uploads/2025-02/b54779.jpg)
 请注意，接近零的权重对 L2 正则化影响不大，但较大的权重可能会产生巨大影响。例如，在前面的计算中：

单个权重 (w3) 约占总复杂度的 93%。
其他 5 个权重加起来只占总复杂度的 7% 左右。
L2 正则化会使权重趋近 0，但绝不会使权重完全为零。
早停法： 限制训练步数，以便在损失曲线时停止训练 但仍在下降。

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：计算概率

下一篇：没有了

本文对您是否有用？有用 (0) 无用 (0)