最后更新: 2025-02-17 14:41 查看: 102 次纠错评论(0) 课件开VIP

激活函数

您在上一个练习中了解到，仅向网络添加隐藏层不足以表示非线性关系。对线性运算执行的线性运算仍然是线性的。

如何配置神经网络来学习值之间的非线性关系？我们需要找到一种将非线性数学运算插入模型的方法。

如果这看起来有点熟悉，那是因为我们在本课程的早些部分实际上就对线性模型的输出应用了非线性数学运算。在逻辑回归模块中，我们通过将模型的输出通过 S 型函数传递，使线性回归模型输出介于 0 到 1 之间的连续值（表示概率）。

我们可以将同样的原则应用于神经网络。我们来回顾一下之前的练习 2 中的模型，不过这次，在输出每个节点的值之前，我们先应用 S 型函数：
 ![图片](/uploads/2025-02/d37a0d.jpg)
  ![图片](/uploads/2025-02/e6d39f.jpg)
  
  您可以点击 >| 按钮（位于播放按钮右侧），逐步执行每个节点的计算。在图表下方的计算面板中，查看计算每个节点值所执行的数学运算。请注意，每个节点的输出现在是上一层节点线性组合的 sigmoid 转换，并且输出值均压缩在 0 到 1 之间。

在这里，S 型函数用作神经网络的激活函数，用于对神经元的输出值进行非线性转换，然后将该值作为输入传递给神经网络下一层的计算。

现在，我们添加了激活函数，添加层会产生更大的影响。通过将非线性叠加到非线性上，我们可以对输入和预测输出之间的非常复杂的关系进行建模。简而言之，每一层都会针对原始输入有效地学习更复杂、更高级别的函数。如果您想更直观地了解其运作方式，请参阅 Chris Olah 的优秀博文。并使用它回答以下问题。

## 常用激活函数
 
常用作激活函数的三个数学函数是 Sigmoid 函数，tanh 函数和 ReLU 函数。
S型函数（如上文所述）对输入 $x$ 执行以下转换，从而生成一个介于 0 到 1 之间的输出值：

$$
F(x)=\frac{1}{1+e^{-x}}
$$

> sigmoid一词通常更广泛地用于指代任何 S 形函数。从技术层面来看，对特定函数 $F(x)=\frac{1}{1+e^{-\varepsilon}}$ 来说，更准确的术语是逻辑函数。

下面是该函数的图表：
 ![图片](/uploads/2025-02/9df90e.jpg)
 
 $\tanh$（简称＂双曲正切＂）函数会转换输入 $x$ ，以生成介于 -1 和 1 之间的输出值：

$$
F(x)=\tanh (x)
$$

以下是此函数的图表：
 ![图片](/uploads/2025-02/724171.jpg)
 
 请注意，$S$ 型函数的范围为 0 到 $1, ~ t a n h$ 函数的范围为 -1 到 1
 
 
 修正线性单元激活函数（简称 ReLU）使用以下算法转换输出：
- 如果输入值 $x$ 小于 0 ，则返回 0 。
- 如果输入值 $x$ 大于或等于 0 ，则返回输入值。

可以使用 $\max ()$ 函数以数学方式表示 ReLU：

$$
F(x)=\max (0, x)
$$

下面是该函数的图表：
 ![图片](/uploads/2025-02/261c22.jpg)
 ReLU 作为激活函数的效果通常优于 S 型函数或 tanh 等平滑函数，因为它在神经网络训练期间不易受到梯度消失问题的影响。与这些函数相比，ReLU 的计算也更容易。
 
 ## 其他激活函数

在实践中，任何数学函数都可以用作激活函数。假设 $\sigma$ 代表我们的激活函数。网络中节点的值由以下公式给出：

$$
\sigma( w \cdot x +b)
$$

Keras 为许多激活函数提供开箱即用型支持。尽管如此，我们仍建议您先从 ReLU 开始。

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：节点和隐藏层

下一篇：没有了

本文对您是否有用？有用 (0) 无用 (0)