update posts
This commit is contained in:
@@ -50,28 +50,40 @@ $$\begin{equation}\label{DefinitionOfConvexFunction}
|
||||
|
||||
  函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它让我们可以通过将函数限制在直线上来判断其是否是凸函数。
|
||||
|
||||
{% note info %}
|
||||
{% note info 注解 %}
|
||||
|
||||
这里可能是由于翻译问题导致不是很好理解，我们先看原文：
|
||||
|
||||
> A function is convex if and only if it is convex when restricted to any line that
|
||||
intersects its domain. In other words f is convex if and only if for all $x\in\mathbf{dom}\, f$ and all $v$, the function $g(t) = f(x + tv)$ is convex (on its domain, $\{t\mid x+tv\in\mathbf{dom}\, f\}$). This property is very useful, since it allows us to check whether a function is convex by restricting it to a line.
|
||||
intersects its domain. In other words $f$ is convex if and only if for all $x\in\mathbf{dom}\, f$ and all $v$, the function $g(t) = f(x + tv)$ is convex (on its domain, $\{t\mid x+tv\in\mathbf{dom}\, f\}$). This property is very useful, since it allows us to check whether a function is convex by restricting it to a line.
|
||||
|
||||
仍然不是很好理解。因此这里如下解释：
|
||||
仍然不是很好理解。因此询问 ChatGPT 得到如下解释：
|
||||
|
||||
- 限制在直线上：考虑一个函数 $f$ 和其定义域内的任意一点 $x$。再选择一个任意方向向量 $v$。我们沿着这个方向 $v$ 从点 $x$ 出发，得到一条直线。任何点 $x+tv$（其中 $t$ 是一个实数）都在这条直线上。这就叫做将函数限制在直线上。
|
||||
|
||||
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线$x+tv$上的值。
|
||||
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线 $x+tv$ 上的值。
|
||||
|
||||
- 检查凸性：如果对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，那么我们就说原函数 $f$ 是凸的。也就是说，如果 $f$ 在所有限制的直线上都是凸的，那么 $f$ 本身就是凸的。
|
||||
|
||||
通过限制在直线上，我们将原来的多变量问题简化为单变量问题。对于单变量函数，判断凸性要比多变量情况简单得多。这使得我们可以用更简单的方法来判断一个函数是否是凸的。
|
||||
|
||||
> **举例** 假设我们有一个二次函数 $f(x)=x_1^2+x_2^2$。我们选一个点 $x=(a,b)$ 和一个方向 $v=(c,d)$，沿着这个方向得到直线 $(a,b)+t(c,d)$，然后我们可以定义一个新函数：
|
||||
>
|
||||
> $$
|
||||
> g(t)=f((a,b)+t(c,d))=f(a+tc,b+td)=(a+tc)^2+(b+td)^2
|
||||
> $$
|
||||
>
|
||||
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。如果对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，那么原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
|
||||
|
||||
总的来说，"将函数限制在直线上"意味着通过沿着任意方向取直线来简化判断多变量函数的凸性，从而可以更方便地确定函数的整体凸性。
|
||||
|
||||
{% endnote %}
|
||||
|
||||
  对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。
|
||||
|
||||
# 2. 扩展值延伸
|
||||
|
||||
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$如下
|
||||
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
|
||||
$$
|
||||
\tilde{f}(x)=\begin{cases}
|
||||
f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f
|
||||
@@ -80,18 +92,18 @@ $$
|
||||
|
||||
延伸函数 $\tilde{f}$ 是定义在全空间 $\mathbf{R}^n$ 上的，取值集合为 $\mathbf{R}\cup\{\infty\}$。我们也可以从延伸函数 $\tilde{f}$ 的定义中确定原函数 $f$ 的定义域，即 $\dom f=\{x\mid\tilde{f}(x)<\infty\}$。
|
||||
|
||||
  这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$，可以描述为：对于**任意**（*any*） $x$ 和 $y$，以及 $0<\theta<1$，有
|
||||
  这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$，可以描述为：对于**任意**（*any*）$x$ 和 $y$，以及 $0<\theta<1$，有
|
||||
|
||||
$$
|
||||
\tilde{f}(\theta x+(1-\theta)y)\leqslant\theta\tilde{f}(x)+(1-\theta)\tilde{f}(y)
|
||||
$$
|
||||
|
||||
（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。
|
||||
（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时应当利用扩展运算和扩展序来理解这个不等式。
|
||||
|
||||
- 若 $x$ 和 $y$ 都在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
|
||||
- 如果有任何一个在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
|
||||
- 若 $x$ 和 $y$ 在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
|
||||
- 若 $x$ 或 $y$ 在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
|
||||
|
||||
  再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
|
||||
> **举例** 设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
|
||||
|
||||
  在不会造成歧义的情况下，可以用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。
|
||||
|
||||
@@ -103,7 +115,7 @@ $$
|
||||
>
|
||||
> 凸函数 $\tilde{I}_C$ 被称作集合 $C$ 的**示性函数**（*indicator function*）。
|
||||
>
|
||||
> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$（假设其定义在整个 $\mathbf{R}^n$ 空间）的问题，我们可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，函数 $f+\tilde{I}_C$（按照我们的约定）等价于定义在集合 $C$ 上的函数 $f$。
|
||||
> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$ 的问题（假设 $f$ 定义在整个 $\mathbf{R}^n$ 空间），可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，按照不会造成歧义的约定，函数 $f+\tilde{I}_C$ 等价于定义在集合 $C$ 上的函数 $f$。
|
||||
|
||||
  类似地，可以通过定义凹函数在定义域外都为 $-\infty$ 对其进行延伸。
|
||||
|
||||
@@ -115,7 +127,7 @@ $$\begin{equation}\label{FirstOrderCondition}
|
||||
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
|
||||
\end{equation}$$
|
||||
|
||||
[图 2](#图2) 描述了上述不等式。
|
||||
[图 2](#图2) 描述了上述不等式，也即沿函数上任意一点作切线，函数始终位于切线上方。
|
||||
|
||||
<a id="图2"></a>
|
||||
|
||||
@@ -147,7 +159,7 @@ $$\begin{equation}\label{FirstOrderConditionWhenNEquals1}
|
||||
f(y)\geqslant f(x)+f'(x)(y-x)
|
||||
\end{equation}$$
|
||||
|
||||
  首先假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
|
||||
  首先证明必要性。假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
|
||||
|
||||
$$
|
||||
f(x+t(y-x))\leqslant(1-t)f(x)+tf(y)
|
||||
@@ -193,7 +205,7 @@ $$
|
||||
|
||||
# 4 二阶条件
|
||||
|
||||
  现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 Hessian 矩阵或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
|
||||
  现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 **Hessian 矩阵**或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
|
||||
|
||||
$$
|
||||
\nabla^2f(x)\succeq0
|
||||
@@ -217,7 +229,11 @@ $$
|
||||
|
||||
# 5. 例子
|
||||
|
||||
  前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
|
||||
  前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。
|
||||
|
||||
## $\mathbf{R}$ 上的例子
|
||||
|
||||
  首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
|
||||
|
||||
- **指数函数**（*Exponential*）。对任意 $a\in\mathbf{R}$，函数 $e^{ax}$ 在 $\mathbf{R}$ 上是凸的。
|
||||
- **幂函数**（*Power*）。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数；当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。
|
||||
@@ -233,7 +249,9 @@ $$
|
||||
|
||||
即对于 $x>0$，有 $f''(x)>0$。所以负熵函数是（严格）凸的。
|
||||
|
||||
下面给出 $\mathbf{R}^n$ 上的一些例子。
|
||||
## $\mathbf{R}^n$ 上的例子
|
||||
|
||||
  下面给出 $\mathbf{R}^n$ 上的一些例子。
|
||||
|
||||
**范数**（*Norm*）。 $\mathbf{R}^n$ 上的任意范数均为凸函数。
|
||||
|
||||
@@ -374,8 +392,7 @@ $$
|
||||
> \{x\in\mathbf{R}_{+}^{n}\mid G(x)\geqslant\alpha A(x)\}
|
||||
> $$
|
||||
>
|
||||
> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数
|
||||
$G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
|
||||
> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数 $G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
|
||||
|
||||
# 7. 上境图
|
||||
|
||||
@@ -385,13 +402,13 @@ $$
|
||||
\{(x,f(x))\mid x\in\dom f\}
|
||||
$$
|
||||
|
||||
它是 $\mathbf{R}^{n+1}$ 空间的一个子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
|
||||
它是 $\mathbf{R}^{n+1}$ 空间的子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
|
||||
|
||||
$$
|
||||
\epi f=\{(x,t)\mid x\in\dom f,f(x)\leqslant t\}
|
||||
$$
|
||||
|
||||
它也是 $\mathbf{R}^{n+1}$ 空间的一个子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
|
||||
它也是 $\mathbf{R}^{n+1}$ 空间的子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
|
||||
|
||||
<a id="图5"></a>
|
||||
|
||||
@@ -434,13 +451,13 @@ $$
|
||||
>
|
||||
> （函数图像如[图 3](#图3) 所示）。
|
||||
|
||||
  关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），作为一个例子，考虑凸函数的一阶条件
|
||||
  关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），例如，考虑凸函数的一阶条件
|
||||
|
||||
$$
|
||||
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
|
||||
$$
|
||||
|
||||
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\mathbf{epi}f$，有
|
||||
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\epi f$，有
|
||||
|
||||
$$
|
||||
t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
|
||||
@@ -452,7 +469,7 @@ $$
|
||||
(y,t)\in\epi f\implies\left[\begin{array}{c}\nabla f(x)\\-1\end{array}\right]^\TT \left(\left[\begin{array}{c}y\\t\end{array}\right]-\left[\begin{array}{c}x\\f(x)\end{array}\right]\right)\leqslant0
|
||||
$$
|
||||
|
||||
这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$；如[图 6](#图6) 所示。
|
||||
这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$，如[图 6](#图6) 所示。
|
||||
|
||||
<a id="图6"></a>
|
||||
|
||||
@@ -481,10 +498,10 @@ $$
|
||||
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
|
||||
|
||||
$$\begin{equation}\label{GeneralJensenInequality}
|
||||
f(\mathbf{E}x)\leqslant\mathbf{E}f(x)
|
||||
f(\mathbb{E}x)\leqslant\mathbb{E}f(x)
|
||||
\end{equation}$$
|
||||
|
||||
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbf{E}x)>\mathbf{E}f(x)$。
|
||||
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
|
||||
|
||||
  上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单
|
||||
|
||||
@@ -495,7 +512,7 @@ $$
|
||||
> **注释** 我们可以这样理解式 $\eqref{GeneralJensenInequality}$。假设 $x\in\dom f\subseteq\mathbf{R}^n$，$z$ 是 $\mathbf{R}^n$ 中的随机变量，其均值为零，则有
|
||||
>
|
||||
> $$
|
||||
> \mathbf{E}f(x+z)\geqslant f(x)
|
||||
> \mathbb{E}f(x+z)\geqslant f(x)
|
||||
> $$
|
||||
>
|
||||
> 因此，随机化或者扰动（即在自变量上增加一个零均值的随机变量）从平均效果上不会减小凸函数的值。
|
||||
|
||||
Reference in New Issue
Block a user