最后更新: 2025-02-07 11:47 查看: 104 次反馈同步训练

梯度下降

## 梯度下降 
梯度下降法是一种数学技术，能够以迭代方式找出权重和偏差，从而生成损失最低的模型。梯度下降法会针对用户指定的多次迭代重复以下过程，以找到最佳权重和偏差。

模型开始训练时使用接近于零的随机权重和偏差，然后重复以下步骤：

使用当前权重和偏差计算损失。

确定用于减少损失的权重和偏差的移动方向。

将权重和偏差值在可减少损失的方向上稍微移动。

返回第 1 步并重复此过程，直到模型无法进一步降低损失。

下图概述了梯度下降法为找出损失最低的模型权重和偏差所执行的迭代步骤。
 ![图片](/uploads/2025-02/b4ab8f.jpg)
 
 图 12. 梯度下降是一种迭代过程，用于查找可生成损失最低的模型的权重和偏差。
 
 ## 梯度下降背后的数学原理。 
 具体而言，我们可以使用一个包含 7 个示例的小型数据集来演示梯度下降步骤，这些示例分别对应汽车的重量（以磅为单位）和每加仑行驶里程数：
  ![图片](/uploads/2025-02/9c1d8f.jpg)
  
  
  1．模型会先将权重和偏差设为零，然后开始训练：
Weight： 0
Bias： 0

$$
y=0+0\left(x_1\right)
$$

2．使用当前的模型参数计算 MSE 损失：

$$
\begin{gathered}
\text { Loss }=\frac{(18-0)^2+(15-0)^2+(18-0)^2+(16-0)^2+(15-0)^2+(14-0)^2+(24-0)^2}{7} \\
\text { Loss }=303.71
\end{gathered}
$$

3．计算每个权重和偏差处损失函数的切线斜率：
Weight slope ：-119.7
Bias slope ：-34.3

### 如何计算
为了获取与权重和偏差相切的线的斜率，我们对权重和偏差求导数，然后解方程。
我们将用于进行预测的方程写为：

$$
f_{w, b}(x)=(w * x)+b_{\circ}
$$

我们将实际值写为：$y$ 。
我们将使用以下公式计算 MSE：

$$
\frac{1}{M} \sum_{i=1}^M\left(f_{w, b}\left(x_{(i)}\right)-y_{(i)}\right)^2
$$

其中 $i$ 表示第 $i$ 个训练示例，$M$ 表示示例数量。
权重导数
损失函数相对于权重的导数写为：

$$
\frac{\partial}{\partial w} \frac{1}{M} \sum_{i=1}^M\left(f_{w, b}\left(x_{(i)}\right)-y_{(i)}\right)^2
$$

其求值结果为：

$$
\frac{1}{M} \sum_{i=1}^M\left(f_{w, b}\left(x_{(i)}\right)-y_{(i)}\right) * 2 x_{(i)}
$$

首先，我们将每个预测值减去实际值的总和，然后将其乘以特征值的两倍。然后，将总和除以示例数。所得结果是直线与权重值相切的斜率。

如果我们将权重和偏置设为零来求解此方程，则会得到线条的斜率为－119．7。

偏向导数
损失函数相对于偏置的导数写作：

$$
\frac{\partial}{\partial b} \frac{1}{M} \sum_{i=1}^M\left(f_{w, b}\left(x_{(i)}\right)-y_{(i)}\right)^2
$$

其求值结果为：

$$
\frac{1}{M} \sum_{i=1}^M\left(f_{w, b}\left(x_{(i)}\right)-y_{(i)}\right) * 2
$$

首先，我们将每个预测值减去实际值的差值求和，然后将其乘以 2 。然后，将总和除以示例数。结果是与偏差值相切的线的斜率。

如果我们用权重和偏差等于零来求解此方程，则直线的斜率为 -34.3 。
4．向负斜率方向移动一小段距离，即可获得下一个权重和偏差。目前，我们将＂小额＂定义为 0.01 ：

$$
\begin{gathered}
\text { New weight }=\text { old weight }-(\text { small amount } * \text { weight slope }) \\
\text { New bias }=\text { old bias }-(\text { small amount } * \text { bias slope }) \\
\text { New weight }=0-(0.01) *(-119.7) \\
\text { New bias }=0-(0.01) *(-34.3) \\
\text { New weight }=1.2 \\
\text { New bias }=0.34
\end{gathered}
$$

使用新的权重和偏差计算损失，然后重复上述步骤。完成六次迭代后，我们会得到以下权重，偏差和损失：
 ![图片](/u

其他版本
【高等数学】梯度

免费注册看余下 50%

非VIP会员每天15篇文章，开通VIP 无限制查看

上一篇：参数

下一篇：超参数

本文对您是否有用？有用 (0) 无用 (0)