最后更新: 2025-07-23 09:15 查看: 867 次反馈同步训练

条件极值与拉格朗日乘数法

## 什么是拉格朗日乘子法
在日常生活中, 我们会面临各种各样的寻求极值的问题。例如, 寻求在定义域内函数 $f(x)$ 的极值, 简单讲, 在一元函数中, 即我们就需要求得导数为零的点。到了多元情况下, 就需要考虑函数 $f\left(x_1, x_2, \ldots\right)$ 对各个分量的偏导数为零的点。一般情况下变量的取值为整个实数域时就只需要按求导思想解方程即可, 现实的问题多是, 如何在一定的限制条件下, 寻求目标函数的极值。比如说, 要寻找 $f(x, y)$ 在约束条件下 $g(x, y)=0$ 的极值。

通常很容易想到的代数方法是, 把 $g(x, y)=0$ 中的 $y$ (或是 $x$ ) 用 $x$ （或是 $y$ ）来显示表达出来, 得到函数 $y=h(x)$ （或是 $x=h(y)$ ) 带回到函数 $f(x, y)$ 中得到函数 $F(x)=f(x, h(x))$ , 然后按一元函数求解极值的方法, 即求导数为零的点来计算极值。

现在, 有的问题是, 万一 $g(x, y)=0$ 中的 $x$ 或是 $y$ 不可显示表达, 那该如何解决呢?

拉格朗日乘子法给出了解决这类问题的方案，这是大数学家拉格朗日的伟大创造之一。

我们先给出步骤，然后通过一个例子实践，再来解释原因。

## 具体步骤
 
首先, 给出一个拉格朗日函数 $L(x, y, \lambda)=f(x, y)+\lambda g(x, y)$, 求出拉格朗日函数的极值,就可以得到 $f(x, y)$ 的极值。 
- 定义目标函数 $f(x, y)$ 和约束条件 $g(x, y)=0$ 。
- 构造拉格朗日函数 $L(x, y, \lambda)=f(x, y)+g(x, y)$ 。
- 求出拉格朗日函数 $L(x, y, \lambda ) $ 的梯度向量：$\frac{\partial L}{ \partial x},  \frac{\partial L }{ \partial y}$

- 令其等于零：$\frac{\partial L}{ \partial x}=0$, $\frac{\partial L }{ \partial y}=0$, $g(x, y)=0$

- 解出上述方程组, 得到满足约束条件的极值点。

`例`有一个目标函数 $f(x, y)=x^2+y^2$, 且有一个约束条件为 $g(x, y)=x+y-10=0$ 。现在, 要找到满足这个约束条件的 $f(x, y)$ 的最小值。
解：使用拉格朗日乘子法来解决这个问题。
首先, 定义一个新的函数 $L(x, y, \lambda)=f(x, y)+\lambda * g(x, y)$, 其中 $\lambda$ 是拉格朗日乘子。
即  $L(x, y, \lambda)= x^2+y^2 + \lambda (x+y-10) $

然后, 我们要找到 $L(x, y, \lambda)$ 的极值。为了找到极值, 需要解出 $L(x, y, \lambda)$ 的梯度等于 0 的方程组。
 
对于 $L(x, y)$, 求偏导我们有:

$$
\begin{gathered}
 \dfrac{\partial L}{\partial x}=2 x+\lambda \\
 \dfrac{\partial L } {\partial y}=2 y+ \lambda \\
\end{gathered}
$$

为了找到 $L(x, y, x)$ 的极值, 需要解出:

$$
\left \{
\begin{gathered}
2 x+\lambda=0 \\
2 y+\lambda=0 \\
x+y-10=0
\end{gathered}
\right.
$$

方程组。我们很容易可以得到 $x=-5, y=5$ 和 $\lambda=-5$ 。将这些值代入原目标函数 $f(x, y)$, 我们可以得到 $f(-5,5)=5^2+5^2=50$ 。因此, 在约束条件下, $f(x, y)$ 的最小值为 50

## 拉格拉日乘法子为什么可以求极值？
在上面，我们看到，通过构造一个$L(x,y,\lambda)$ 函数，就可以求得他的极值，这里对其原理进行简单解释。

### 平面上的极值
假设有一个函数，$f(x,y)=x^2+y^2$，我想找在 $xy=3$的限制条件下，求他的最小值。那么怎么求这个极值呢？

为了方便理解，我们先从几何上解释，$xy=3$ 表示的在一、三象限的双曲线，参考下图

![图片](/uploads/2025-05/1ecdf3.jpg){width=400px}
 
 
而$f(x,y)=x^2+y^2$ 表示坐标平面上一点到原点的距离。假设求的极值为$C$，不难理解，$f(x,y)=C$是以原点为圆心，半径为$C$的圆。

我们在求函数$f(x,y)$ 极值时，可以想象为让这个“圆”像电磁波一样，逐渐向外扩张 参考下图 ，不难发现，**当外围的蓝线和黄色的双曲线“相切”的那一瞬间（也就是切点），函数$f(x,y)$的极值开始出现**

原因很简单，“电磁波”再继续往外扩展，圆的半径会更大，就算电磁波与曲线有交点，他也不是函数$f(x,y)$ 的极小值。

![图片](/uploads/2025-05/01db6d.jpg){width=400px}

由此得出结论：函数的极值出现在 $f(x, y)$ 曲线与 $g(x, y)$ 曲线相切处。  
而且不难发发现，假设切点为$P$，则连接$OP$的向量垂直曲线$g(x,y)=3$在该点的的切线向量。

### 推广
现在我们把上面思想进行推广，假设$f(x_1,x_2)$ 是不规则光滑曲线，例如 $f(x_1,x_2)=x_1^2+x_2^2-x_1 x_2$ , 现在函数 $g(x_1,x_2)=0$ 也是一条不规则光滑曲线，如下图，如何求的$f(x_1,x_2)$ 的极值呢？

![图片](/uploads/2025-05/976a96.jpg){width=400px}
 
 **仔细想想可以发现：我们所求的在黄线约束 $g(x_1,x_2)=0$ 下的最优点$P$一定是约束曲线$g=0$与目标函数$f$的某一条等值线的切点.** 
 
 上面这句话是什么意思呢？我们不妨设 $f(x_1,x_2)=z$ ，也就是每给一个$(x_1,x_2)$ 会有一个$z$ 和他对应，因此， $f(x_1,x_2)=z$ 其实是三维空间里的图片，如下把他写成 $z=f(x_1,x_2)$ 应该更容易理解。 
 
  ![图片](/uploads/2025-05/ec1303.jpg){width=400px}

现在用一个个水平平面切割曲面，然后把割痕往下投影，会在$XOY$ 平面上形成一个等高线（也叫等值线），这里借用了地理的概念，为了方便理解，可以参考下图地理中的等高线

![图片](/uploads/2025-05/60c88f.jpg){width=400px}
 
我们继续使用上面立体图形里，在 $xoy$ 平面内，参考最开始的电磁波引例，在等高线以原点为中心逐渐往外扩散，在切点$P$处，$f(x_1,x_2)$ 取到极值(在本图里是极大值)，再往外扩散，值越来越小。
 
 
  ![图片](/uploads/2025-05/4a97aa.jpg){width=400px}
 
 在“电磁波”往外扩展时，这个函数可以写成
 $kf(x_1,x_2)=0$
 约束函数是
 $g(x_1,x_2)=0$
 
 在切点处，需要同时满足这两个函数，所以可以写成  $l=kf(x_1,x_2)-g(x_1,x_2)$ ,因为k不等于零，所以有 （这里有平面束的思想，详见 [平面束](https://kb.kmath.cn/kbase/detail.aspx?id=1341)）
 
  $L=f(x_1,x_2)+ \lambda g(x_1,x_2)$ 
  
 这样，就相当于构造出了拉格朗日乘法等式，
 
 如何求的切点$P$的坐标呢？当有了$L$ 函数以后，我们可以仿照一元函数求极值的情况解决。在一元函数里，极值点出现在一阶导为零的地方，所以我们对 $L$ 分别向$x,y$ 求偏导，然后令他为零，再配上$g(x,y)=0$ 就能求出极值点的坐标，进而能求的其值。关于这点内容，可以参考 [梯度](https://kb.kmath.cn/kbase/detail.aspx?id=391)
 
 
 
 
## 再论拉格朗日乘子法，为什么可以求极值

### 引言：当直线“救不了”你的数据时
想象一下，你是一位数据侦探，面前摆着一桩棘手的案子。桌上散落着两种不同颜色的数据点，你的任务很简单：用一根笔直的尺子，在桌子上一划，将这两种数据点完美地分开。
在很多情况下，你的尺子（代表着“线性模型”）表现出色。但今天，你遇到的“案发现场”是这样的：
 ![图片](/uploads/2025-07/22071a.jpg)
 
 如图所示，一类数据点被另一类数据点紧紧包围。你拿起那把值得信赖的线性标尺，在图上反复比划，很快便沮丧地发现，无论从哪个角度画线，都无法干净地将它们隔离开。任何一条直线都会“误伤友军”。你的简单工具失灵了，你陷入了一个思维的僵局。

在这样的困境中，伟大的突破往往源于一个根本问题的转变。我们不再问：“**我该如何画出一条更复杂的曲线去圈住它们？**” 而是问一个更具颠覆性的问题：“**凭什么认为这些数据所在的世界，一定是平的？**”

这，就是“思维跃迁”的开始。现在，请想象我们引入了一种神奇的、看不见的力量，它改变了数据所在空间的结构，将原本平面的“桌布”从中心提起，奇迹发生了：

![图片](/uploads/2025-07/f9ae49.jpg)
 
观察上图，在这股力量的作用下，位于中心的“黑点”群被整体抬升，形成了一座高耸的“数据山峰”。而外围的“白点”则依然分布在较低的“平原”地带。

从这个全新的、更高的维度俯瞰，原本棘手的问题瞬间变得令人难以置信的简单！我们只需要拿出一张水平的“切割平面”，像切蛋糕一样，轻松地从“山峰”和“平原”之间横切过去。一次切割，完美分离。

然而，魔法还没有结束。我们在高维空间里的这次“切割”，对我们原始的二维世界意味着什么？当我们把这个切割平面的边缘投影回最初的那张二维图上时，**它就留下了一道完美的非线性边界——一个精确的椭圆形轮廓，优雅地将中心的数据点隔离了出来**。

![图片](/uploads/2025-07/9dcf92.jpg)
 
 这个从“平面”到“山峰”，再从“切割”到“投影”的整个过程，就是升维在降维过程。

提示：升维并非没有代价，他会增加数据的计算量

### 总结
回到拉格朗日，读者可能不禁疑问：凭什么引入一个$\lambda$ , 定义一个拉格朗日函数, 求得拉格朗日函数的极值,就可以求得

免费注册看余下 50%

非VIP会员每天15篇文章，开通VIP 无限制查看

上一篇：二元函数的最大值与最小值

下一篇：阅读：计算抽象多元复合函数二阶偏导数时容易产生的一种典型错误

本文对您是否有用？有用 (0) 无用 (0)