update posts
This commit is contained in:
@@ -32,13 +32,13 @@ $
|
||||
\def\epi{\mathop{\bf epi}}
|
||||
\def\hypo{\mathop{\bf hypo}}
|
||||
\def\prob{\mathop{\bf prob}}
|
||||
$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
|
||||
$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，若 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
|
||||
|
||||
$$\begin{equation}\label{DefinitionOfConvexFunction}
|
||||
f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
|
||||
\end{equation}$$
|
||||
|
||||
  从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方（如[图 1](#图1)所示）。称函数 $f$ 是**严格凸**（*strictly convex*）的，如果式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，如果函数 $-f$ 是凸的，称函数 $f$ 是**严格凹**（*strictly concave*）的，如果 $-f$ 严格凸。
|
||||
  从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方（如[图 1](#图1)所示）。称函数 $f$ 是**严格凸**（*strictly convex*）的，若式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，若函数 $-f$ 是凸的；称函数 $f$ 是**严格凹**（*strictly concave*）的，若 $-f$ 严格凸。
|
||||
|
||||
<a id="图1"></a>
|
||||
|
||||
@@ -63,7 +63,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
|
||||
|
||||
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线 $x+tv$ 上的值。
|
||||
|
||||
- 检查凸性：如果对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，那么我们就说原函数 $f$ 是凸的。也就是说，如果 $f$ 在所有限制的直线上都是凸的，那么 $f$ 本身就是凸的。
|
||||
- 检查凸性：若对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，则我们就说原函数 $f$ 是凸的。也就是说，若 $f$ 在所有限制的直线上都是凸的，则 $f$ 本身就是凸的。
|
||||
|
||||
通过限制在直线上，我们将原来的多变量问题简化为单变量问题。对于单变量函数，判断凸性要比多变量情况简单得多。这使得我们可以用更简单的方法来判断一个函数是否是凸的。
|
||||
|
||||
@@ -73,7 +73,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
|
||||
> g(t)=f((a,b)+t(c,d))=f(a+tc,b+td)=(a+tc)^2+(b+td)^2
|
||||
> $$
|
||||
>
|
||||
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。如果对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，那么原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
|
||||
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。若对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，则原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
|
||||
|
||||
总的来说，"将函数限制在直线上"意味着通过沿着任意方向取直线来简化判断多变量函数的凸性，从而可以更方便地确定函数的整体凸性。
|
||||
|
||||
@@ -83,7 +83,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
|
||||
|
||||
# 2. 扩展值延伸
|
||||
|
||||
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
|
||||
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。若 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
|
||||
$$
|
||||
\tilde{f}(x)=\begin{cases}
|
||||
f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f
|
||||
@@ -131,13 +131,13 @@ $$\begin{equation}\label{FirstOrderCondition}
|
||||
|
||||
<a id="图2"></a>
|
||||
|
||||
{width=500px}
|
||||
{width=500px}
|
||||
|
||||
  由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，如果某个函数的一阶 Taylor 近似总是其全局下估计，那么这个函数是凸的。
|
||||
  由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，若某个函数的一阶 Taylor 近似总是其全局下估计，则这个函数是凸的。
|
||||
|
||||
  不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些**全局信息**（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。
|
||||
|
||||
> **举例** 由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
|
||||
> **举例** 由不等式 $\eqref{FirstOrderCondition}$ 可以知道，若 $\nabla f(x)=0$，则对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
|
||||
|
||||
  严格凸性同样可以由一阶条件刻画：函数 $f$ 严格凸的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，$x\neq y$，有
|
||||
|
||||
@@ -213,7 +213,7 @@ $$
|
||||
|
||||
对于 $\mathbf{R}$ 上的函数，上式可以简化为一个简单的条件 $f''(x)\geqslant0$（$\dom f$ 是凸的，即一个区间），此条件说明函数 $f$ 的导数是非减的。条件 $\nabla^2f(x)\succeq0$ 从几何上可以理解为函数图像在点 $x$ 处具有正（向上）的曲率。
|
||||
|
||||
  类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。如果对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
|
||||
  类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。若对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
|
||||
|
||||
> **举例** **二次函数**。考虑二次函数 $f:\mathbf{R}^n\to\mathbf{R}$，其定义域为 $\dom f=\mathbf{R}^n$，其表达式为
|
||||
>
|
||||
@@ -283,7 +283,7 @@ $$
|
||||
|
||||
  判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式 $\eqref{DefinitionOfConvexFunction}$ 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。
|
||||
|
||||
**范数**。如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
|
||||
**范数**。若函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
|
||||
|
||||
$$
|
||||
f(\theta x+(1-\theta)y)\leqslant f(\theta x)+f((1-\theta)y)=\theta f(x)+(1-\theta)f(y)
|
||||
@@ -372,11 +372,11 @@ $$
|
||||
C_{\alpha}=\{x\in\dom f\mid f(x)\leqslant\alpha\}
|
||||
$$
|
||||
|
||||
对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：如果 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
|
||||
对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：若 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
|
||||
|
||||
  反过来不一定正确：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。例如，函数 $f(x)=-e^x$ 在 $\mathbf{R}$ 上不是凸函数（实质上，它是严格凹函数），但是其所有下水平集均为凸集。
|
||||
|
||||
  如果 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
|
||||
  若 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
|
||||
|
||||
> **举例** 对于 $x\in\mathbf{R}_+^n$，其几何平均和算术平均分别为
|
||||
>
|
||||
@@ -457,7 +457,7 @@ $$
|
||||
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
|
||||
$$
|
||||
|
||||
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\epi f$，有
|
||||
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。若 $(y,t)\in\epi f$，有
|
||||
|
||||
$$
|
||||
t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
|
||||
@@ -483,25 +483,25 @@ $$
|
||||
f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
|
||||
$$
|
||||
|
||||
有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：如果函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
|
||||
有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：若函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
|
||||
|
||||
$$
|
||||
f(\theta_1x_1+\cdots+\theta_kx_k)\leqslant\theta_1f(x_1)+\cdots+\theta_kf(x_k)
|
||||
$$
|
||||
|
||||
考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，如果在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
|
||||
考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，若在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
|
||||
|
||||
$$
|
||||
f\left(\int_Sp(x)x\dd x\right)\leqslant\int_Sf(x)p(x)\dd x
|
||||
$$
|
||||
|
||||
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
|
||||
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。若 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
|
||||
|
||||
$$\begin{equation}\label{GeneralJensenInequality}
|
||||
f(\mathbb{E}x)\leqslant\mathbb{E}f(x)
|
||||
\end{equation}$$
|
||||
|
||||
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
|
||||
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：若函数 $f$ 不是凸函数，则存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
|
||||
|
||||
  上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单
|
||||
|
||||
|
||||
Reference in New Issue
Block a user