diff --git a/source/_posts/2024-06-14-josh-cvx-2-1.md b/source/_posts/2024-06-14-josh-cvx-2-1.md index d36f0b0..3e4271b 100644 --- a/source/_posts/2024-06-14-josh-cvx-2-1.md +++ b/source/_posts/2024-06-14-josh-cvx-2-1.md @@ -26,9 +26,13 @@ date: 2024-06-14 20:29:26 $ \newcommand{\TT}{\mathrm{T}} +\newcommand{\dd}{\mathrm{d}} \def\dom{\mathop{\bf dom}} \def\diag{\mathop{\bf diag}} -$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有 +\def\epi{\mathop{\bf epi}} +\def\hypo{\mathop{\bf hypo}} +\def\prob{\mathop{\bf prob}} +$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有 $$\begin{equation}\label{DefinitionOfConvexFunction} f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y) @@ -42,9 +46,11 @@ $$\begin{equation}\label{DefinitionOfConvexFunction} -  对于仿射函数，不等式 $\eqref{DefinitionOfConvexFunction}$ 总成立，因此所有的仿射函数（包括线性函数）是既凸且凹的。反之，若某个函数是既凸又凹的，则其是仿射函数。函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它容许我们通过将函数限制在直线上来判断其是否是凸函数。 +  对于仿射函数，不等式 $\eqref{DefinitionOfConvexFunction}$ 总成立，因此所有的仿射函数（包括线性函数）是既凸且凹的。反之，若某个函数是既凸又凹的，则其是仿射函数。 -  对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，．凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。 +  函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它容许我们通过将函数限制在直线上来判断其是否是凸函数。 + +  对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。 # 2. 扩展值延伸 @@ -57,15 +63,20 @@ $$ 延伸函数 $\tilde{f}$ 是定义在全空间 $\mathbf{R}^n$ 上的，取值集合为 $\mathbf{R}\cup\{\infty\}$。我们也可以从延伸函数 $\tilde{f}$ 的定义中确定原函数 $f$ 的定义域，即 $\dom f=\{x\mid\tilde{f}(x)<\infty\}$。 -  这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$, 可以描述为：对于任意 $x$ 和 $y$，以及 $0<\theta<1$，有 +  这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$，可以描述为：对于**任意**（*any*） $x$ 和 $y$，以及 $0<\theta<1$，有 $$ \tilde{f}(\theta x+(1-\theta)y)\leqslant\theta\tilde{f}(x)+(1-\theta)\tilde{f}(y) $$ -（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。若 $x$ 和 $y$ 都在 $\dom f$内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；如果有任何一个在 $\dom f$ 外，上述不等式的右端为$\infty$，不等式仍然成立。再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。 +（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。 -  在不会造成歧义的情况下，我们用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。 +- 若 $x$ 和 $y$ 都在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$； +- 如果有任何一个在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。 + +  再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。 + +  在不会造成歧义的情况下，可以用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。 > **举例** **凸集的示性函数**。设 $C\subseteq\mathbf{R}^n$ 是一个凸集，考虑（凸）函数 $I_C$，其定义域为 $C$，对于所有的 $x\in C$，有 $I_C(x)=0$。换言之，此函数在集合 $C$ 上一直为零。其扩展值延伸可以描述如下 > @@ -81,7 +92,7 @@ $$ # 3. 一阶条件 -  假设 $f$ 可微（即其梯度$\nabla f$在开集 $\dom f$内处处存在），则函数 $f$ 是凸函数的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，下式成立 +  假设 $f$ 可微（即其梯度 $\nabla f$ 在开集 $\dom f$ 内处处存在），则函数 $f$ 是凸函数的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，下式成立 $$\begin{equation}\label{FirstOrderCondition} f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x) @@ -95,7 +106,9 @@ $$\begin{equation}\label{FirstOrderCondition}   由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，如果某个函数的一阶 Taylor 近似总是其全局下估计，那么这个函数是凸的。 -  不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些全局信息（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。下面是一个简单的例子，由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。 +  不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些**全局信息**（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。 + +> **举例** 由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。   严格凸性同样可以由一阶条件刻画：函数 $f$ 严格凸的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，$x\neq y$，有 @@ -131,23 +144,23 @@ $$ 令 $t\to 0$，可以得到不等式 $\eqref{FirstOrderConditionWhenNEquals1}$。 -  为了证明充分性，假设对$\dom f$（某个区间）内的任意 $x$ 和 $y$，函数满足不等式 $\eqref{FirstOrderConditionWhenNEquals1}$。选择任意 $x\neq y,0\leqslant\theta\leqslant1$，令 $z=\theta x+(1-\theta)y$。两次应用不等式 $\eqref{FirstOrderConditionWhenNEquals1}$ 可得 +  为了证明充分性，假设对 $\dom f$（某个区间）内的任意 $x$ 和 $y$，函数满足不等式 $\eqref{FirstOrderConditionWhenNEquals1}$。选择任意 $x\neq y$，$0\leqslant\theta\leqslant1$，令 $z=\theta x+(1-\theta)y$。两次应用不等式 $\eqref{FirstOrderConditionWhenNEquals1}$ 可得 $$ f(x)\geqslant f(z)+f'(z)(x-z),\quad f(y)\geqslant f(z)+f'(z)(y-z) $$ -将第一个不等式乘以$\theta$，第二个不等式乘以$1-\theta$，并将二者相加可得 +将第一个不等式乘以 $\theta$，第二个不等式乘以 $1-\theta$，并将二者相加可得 $$ \theta f(x)+(1-\theta)f(y)\geqslant f(z) $$ -从而说明了函数$f$是凸的。 +从而说明了函数 $f$ 是凸的。   现在来证明一般情况，即 $f:\mathbf{R}^n\to\mathbf{R}$。设 $x,y\in\mathbf{R}^n$，考虑过这两点的直线上的函数 $f$，即函数 $g(t)=f(ty+(1-t)x)$，此函数对 $t$ 求导可得 $g'(t)=\nabla f(ty+(1-t)x)^\TT(y-x)$。 -  首先假设函数 $f$ 是凸的，则函数 $g$ 是凸的，由前面的讨论可得 $g(1)\geqslant g(0)+g^{\prime}(0)$，即 +  首先假设函数 $f$ 是凸的，则函数 $g$ 是凸的，由前面的讨论可得 $g(1)\geqslant g(0)+g'(0)$，即 $$ f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x) @@ -159,7 +172,7 @@ $$ f(ty+(1-t)x)\geqslant f(\tilde{t}y+(1-\tilde{t})x)+\nabla f(\tilde{t}y+(1-\tilde{t})x)^\TT (y-x)(t-\tilde{t}) $$ -即 $g(t)\geqslant g(\tilde{t})+g^{\prime}(\tilde{t})(t-\tilde{t})$，说明了函数 $g$ 是凸的。 +即 $g(t)\geqslant g(\tilde{t})+g'(\tilde{t})(t-\tilde{t})$，说明了函数 $g$ 是凸的。 # 4 二阶条件 @@ -169,9 +182,9 @@ $$ \nabla^2f(x)\succeq0 $$ -对于 $\mathbf{R}$ 上的函数，上式可以简化为一个简单的条件 $f^{\prime\prime}(x)\geqslant0$（$\dom f$ 是凸的，即一个区间），此条件说明函数 $f$ 的导数是非减的。条件 $\nabla^2f(x)\succeq0$ 从几何上可以理解为函数图像在点 $x$ 处具有正（向上）的曲率。 +对于 $\mathbf{R}$ 上的函数，上式可以简化为一个简单的条件 $f''(x)\geqslant0$（$\dom f$ 是凸的，即一个区间），此条件说明函数 $f$ 的导数是非减的。条件 $\nabla^2f(x)\succeq0$ 从几何上可以理解为函数图像在点 $x$ 处具有正（向上）的曲率。 -  类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。如果对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$处，二阶导数为零。 +  类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。如果对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。 > **举例** **二次函数**。考虑二次函数 $f:\mathbf{R}^n\to\mathbf{R}$，其定义域为 $\dom f=\mathbf{R}^n$，其表达式为 > @@ -179,21 +192,21 @@ $$ > f(x)=(1/2)x^\TT Px+q^\TT x+r > $$ > -> 其中 $P\in\mathbf{S}^{n},q\in\mathbf{R}^{n},r\in\mathbf{R}$。因为对于任意 $x,\nabla^2f(x)=P$，所以函数 $f$ 是凸的，当且仅当 $P\succeq0$（$f$是凹的当且仅当$P\preceq0$）。 +> 其中 $P\in\mathbf{S}^{n}$，$q\in\mathbf{R}^{n}$，$r\in\mathbf{R}$。因为对于任意 $x$，$\nabla^2f(x)=P$，所以函数 $f$ 是凸的，当且仅当 $P\succeq0$（$f$ 是凹的当且仅当 $P\preceq0$）。 > > 对于二次函数，严格凸比较容易表达：函数 $f$ 是严格凸的，当且仅当 $P\succ0$（函数是严格凹的当且仅当 $P\prec0$）。 -> **注释** 在判断函数的凸性和凹性时，不管是一阶条件还是二阶条件，$\dom f$ 必须是凸集这个前提条件必须满足。例如，考虑函数 $f(x)=1/x^2$，其定义域为 $\ dom f=\{x\in$ $\mathbf{R}\mid x\neq0\}$，对于所有 $x\in\dom f$ 均满足 $f^\prime\prime(x)>0$，但是函数 $f(x)$ 并不是凸函数。 +> **注释** 在判断函数的凸性和凹性时，不管是一阶条件还是二阶条件，$\dom f$ 必须是凸集这个前提条件必须满足。例如，考虑函数 $f(x)=1/x^2$，其定义域为 $\dom f=\{x\in$ $\mathbf{R}\mid x\neq0\}$，对于所有 $x\in\dom f$ 均满足 $f''(x)>0$，但是函数 $f(x)$ 并不是凸函数。 # 5. 例子   前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。 -- **指数函数**。对任意 $a\in\mathbf{R}$，函数 $e^ax$ 在 $\mathbf{R}$ 上是凸的。 -- **幂函数**。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数，当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。 -- **绝对值幂函数**。当 $p\geqslant1$ 时，函数 $|x|^p$在 $\mathbf{R}$ 上是凸函数。 -- **对数函数**。函数 $\log x$ 在 $\mathbf{R}_{++}$ 上是凹函数。 -- **负熵**。函数 $x\log x$ 在其定义域上是凸函数。（定义域为 $\mathbf{R}_{++}$ 或者 $\mathbf{R}_+$，当 $x=0$ 时定义函数值为 0。） +- **指数函数**（*Exponential*）。对任意 $a\in\mathbf{R}$，函数 $e^{ax}$ 在 $\mathbf{R}$ 上是凸的。 +- **幂函数**（*Power*）。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数；当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。 +- **绝对值幂函数**（*Power of absolute value*）。当 $p\geqslant1$ 时，函数 $|x|^p$ 在 $\mathbf{R}$ 上是凸函数。 +- **对数函数**（*Logarithm*）。函数 $\log x$ 在 $\mathbf{R}_{++}$ 上是凹函数。 +- **负熵**（*Negative entropy*）。函数 $x\log x$ 在其定义域上是凸函数。（定义域为 $\mathbf{R}_{++}$ 或者 $\mathbf{R}_+$，当 $x=0$ 时定义函数值为 0。）   我们可以通过基本不等式 $\eqref{DefinitionOfConvexFunction}$ 或者二阶导数半正定或半负定来判断上述函数是凸的或是凹的。以函数 $f(x)=x\log x$ 为例，其导数和二阶导数为 @@ -201,15 +214,15 @@ $$ f'(x)=\log x+1,\quad f''(x)=1/x $$ -即对于 $x>0$，有 $f^\prime\prime(x)>0$。所以负熵函数是（严格）凸的。 +即对于 $x>0$，有 $f''(x)>0$。所以负熵函数是（严格）凸的。 下面给出 $\mathbf{R}^n$ 上的一些例子。 -**范数**。 $\mathbb{R}^n$ 上的任意范数均为凸函数。 +**范数**（*Norm*）。 $\mathbf{R}^n$ 上的任意范数均为凸函数。 -**最大值函数**。函数 $f(x)=\max\{x_1,\cdots,x_n\}$ 在 $\mathbb{R}^n$ 上是凸的。 +**最大值函数**（*Max function*）。函数 $f(x)=\max\{x_1,\cdots,x_n\}$ 在 $\mathbf{R}^n$ 上是凸的。 -**二次-线性分式函数**。函数 $f(x,y)=x^2/y$，其定义域为 +**二次-线性分式函数**（*Quadratic-over-linear function*）。函数 $f(x,y)=x^2/y$，其定义域为 $$ \dom f= \mathbf{R} \times \mathbf{R} _{+ + }= \{ ( x, y) \in \mathbf{R} ^{2}\mid y> 0\} $$ @@ -219,7 +232,7 @@ $$ ![图 3. 函数 $f(x, y) = x^2/y$ 的图像。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-030-QuadraticOverLinearFunction.png){width=400px} -**指数和的对数**。函数 $f(x)=\log\left(e^{x_1}+\cdots+e^{x_n}\right)$ 在 $\mathbf{R}^n$上是凸函数。这个函数可以看成最大值函数的可微（实际上是解析）近似，因为对任意 $x$，下面的不等式成立 +**指数和的对数**（*Log-sum-exp*）。函数 $f(x)=\log\left(e^{x_1}+\cdots+e^{x_n}\right)$ 在 $\mathbf{R}^n$上是凸函数。这个函数可以看成最大值函数的可微（实际上是解析）近似，因为对任意 $x$，下面的不等式成立 $$ \max\{x_{1},\cdots,x_{n}\}\leqslant f(x)\leqslant\max\{x_{1},\cdots,x_{n}\}+\log n $$ @@ -229,11 +242,11 @@ $$ ![图 4. 函数 $f(x, y) = log(e^x + e^y)$ 的图像。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-040-LogSumExo.png){width=400px} -**几何平均**。几何平均函数$f(x)=\left(\prod_i=1^nx_i\right)^{1/n}$在定义域 dom $f=\mathbf{R}_++^n$上是凹函数。 +**几何平均**（*Geometric mean*）。几何平均函数$f(x)=\left(\displaystyle\prod_{i=1}^n x_i\right)^{1/n}$在定义域 $\dom f=\mathbf{R}_{++}^n$ 上是凹函数。 -**对数-行列式**。函数$f(X)=\log\det X$在定义域$\dom f=\mathbf{S}_{++}^n$上是凹函数。 +**对数-行列式**（*Log-determinant*）。函数 $f(X)=\log\det X$ 在定义域 $\dom f=\mathbf{S}_{++}^n$ 上是凹函数。 -  判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式(3.1) 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。 +  判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式 $\eqref{DefinitionOfConvexFunction}$ 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。 **范数**。如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有 @@ -243,7 +256,7 @@ $$ 上述不等式可以由三角不等式得到，当范数满足齐次性时，上述不等式取等号。 -**最大值函数**。对任意 $0\leqslant\theta\leqslant1$，函数 $f(x)=\max_ix_i$ 满足 +**最大值函数**。对任意 $0\leqslant\theta\leqslant1$，函数 $f(x)=\displaystyle\max_i x_i$ 满足 $$\begin{aligned} f(\theta x+(1-\theta)y)&=\max_{i}(\theta x_{i}+(1-\theta)y_{i}) @@ -253,8 +266,7 @@ f(\theta x+(1-\theta)y)&=\max_{i}(\theta x_{i}+(1-\theta)y_{i}) &=\theta f(x)+(1-\theta)f(y) \end{aligned}$$ -**二次线性分式函数**。为了说明二次-线性分式函数 $f( x, y) = x^2/ y$ 是凸的，我们注意 -到，对于 $y>0$，有 +**二次线性分式函数**。为了说明二次-线性分式函数 $f( x, y) = x^2/ y$ 是凸的，我们注意到，对于 $y>0$，有 $$ \nabla^2f(x,y)=\dfrac{2}{y^3}\left[\begin{array}{cc} @@ -266,7 +278,7 @@ y\\-x \end{array}\right]^\TT \succeq0 $$ -指数和的对数。 指数和的对数函数的 Hessian 矩阵为 +**指数和的对数**。指数和的对数函数的 Hessian 矩阵为 $$ \nabla^{2}f(x)=\frac{1}{(\mathbf{1}^\TT z)^{2}}\left((\mathbf{1}^\TT z)\diag(z)-zz^\TT\right) @@ -278,9 +290,9 @@ $$ v^\TT \nabla^{2}f(x)v=\frac{1}{(\mathbf{1}^\TT z)^{2}}\left(\left(\sum_{i=1}^{n}z_{i}\right)\left(\sum_{i=1}^{n}v_{i}^{2}z_{i}\right)-\left(\sum_{i=1}^{n}v_{i}z_{i}\right)^{2}\right)\geqslant0 $$ -上述不等式可以应用 Cauchy-Schwarz 不等式 $(a^\TT a)(b^\TT b)\geqslant(a^\TT b)^2$ 得到，此时向量 $a$ 和 $b$ 的分量为 $a_i= v_i\sqrt {z_i}$, $b_i= \sqrt {z_i}$。 +上述不等式可以应用 Cauchy-Schwarz 不等式 $(a^\TT a)(b^\TT b)\geqslant(a^\TT b)^2$ 得到，此时向量 $a$ 和 $b$ 的分量为 $a_i= v_i\sqrt {z_i}$，$b_i= \sqrt {z_i}$。 -**几何平均**。类似地，我们说明，几何平均函数 $f(x)=\left(\prod_{i=1}^nx_i\right)^{1/n}$ 在定义域 $\dom f=\mathbf{R}_{++}^{n}$上是凹的。其 Hessian 矩阵 $\nabla^2f(x)$ 可以通过下面两个式子给出 +**几何平均**。类似地，我们说明，几何平均函数 $f(x)=\left(\displaystyle\prod_{i=1}^nx_i\right)^{1/n}$ 在定义域 $\dom f=\mathbf{R}_{++}^{n}$上是凹的。其 Hessian 矩阵 $\nabla^2f(x)$ 可以通过下面两个式子给出 $$ \frac{\partial^{2}f(x)}{\partial x_{k}^{2}}=-(n-1)\frac{\left(\displaystyle\prod_{i=1}^{n}x_{i}\right)^{1/n}}{n^{2}x_{k}^{2}},\quad\frac{\partial^{2}f(x)}{\partial x_{k}\partial x_{l}}=\frac{\left(\displaystyle\prod_{i=1}^{n}x_{i}\right)^{1/n}}{n^{2}x_{k}x_{l}}\quad\forall\:k\neq l @@ -288,16 +300,16 @@ $$ 因此 $\nabla^2f(x)$ 具有如下表达式 -$$\nabla^{2}f(x)=-\frac{\displaystyle\prod_{i=1}^{n}x_{i}^{1/n}}{n^{2}}\left(n\:\mathbf{diag}(1/x_{1}^{2},\cdots,1/x_{n}^{2})-qq^{T}\right) +$$\nabla^{2}f(x)=-\frac{\displaystyle\prod_{i=1}^{n}x_{i}^{1/n}}{n^{2}}\left(n \diag(1/x_{1}^{2},\cdots,1/x_{n}^{2})-qq^\TT\right) $$ 其中，$q_i=1/x_i$。我们需要证明 $\nabla^2f(x)\preceq0$，即对于任意向量 $v$，有 $$ -v^TT \nabla^2f(x)v=-\frac{\displaystyle\prod_{i=1}^nx_i^{1/n}}{n^2}\left(n\sum_{i=1}^nv_i^2/x_i^2-\left(\sum_{i=1}^nv_i/x_i\right)^2\right)\leqslant0 +v^\TT \nabla^2f(x)v=-\frac{\displaystyle\prod_{i=1}^nx_i^{1/n}}{n^2}\left(n\sum_{i=1}^nv_i^2/x_i^2-\left(\sum_{i=1}^nv_i/x_i\right)^2\right)\leqslant0 $$ -这同样可以应用 Cauchy-Schwarz 不等式 $(a^TT a)(b^TT b)\geqslant(a^TT b)^2$ 得到，只需令向量 $a=1$，向量 $b$ 的分量 $b_i=v_i/x_i$。 +这同样可以应用 Cauchy-Schwarz 不等式 $(a^\TT a)(b^\TT b)\geqslant(a^\TT b)^2$ 得到，只需令向量 $a=\mathbf{1}$，向量 $b$ 的分量 $b_i=v_i/x_i$。 **对数-行列式**。对于函数 $f(X)=\log\det X$，我们可以将其转化为任意直线上的单变量函数来验证它是凹的。令 $X=Z+tV$，其中 $Z,V\in\mathbf{S}^n$，定义 $g(t)=f(Z+tV)$，自变量 $t$ 满足 $Z+tV\succ0$。不失一般性，假设 $t=0$ 满足条件，即 $Z\succ0$。我们有 @@ -309,32 +321,32 @@ g(t)&=\log\det(Z+tV) &=\sum_{i=1}^{n}\log(1+t\lambda_{i})+\log\det Z \end{aligned}$$ -其中 $\lambda_1,\cdots,\lambda_n$ 是矩阵 $Z^-1/2VZ^{-1/2}$ 的特征值。因此下式成立 +其中 $\lambda_1,\cdots,\lambda_n$ 是矩阵 $Z^{-1/2}VZ^{-1/2}$ 的特征值。因此下式成立 $$ -g'(t)=\sum_{i=1}^{n}\frac{\lambda_{i}}{1+t\lambda_{i}},\quad g''(t)=-\sum_{i=1}^{n}\frac{\lambda_{i}^{2}}{(1+t\lambda_{i})^{2}} +g'(t)=\sum_{i=1}^{n}\frac{\lambda_{i}}{1+t\lambda_{i}},\qquad g''(t)=-\sum_{i=1}^{n}\frac{\lambda_{i}^{2}}{(1+t\lambda_{i})^{2}} $$ -因为 $g^{\prime\prime}(t)\leqslant0$，函数 $f$ 是凹的。 +因为 $g''(t)\leqslant0$，函数 $f$ 是凹的。 # 6. 下水平集 -  函数 $f: \mathbf{R} ^{n}\to \mathbf{R}$ 的 $\alpha$-下水平集定义为 +  函数 $f: \mathbf{R} ^{n}\to \mathbf{R}$ 的 **$\alpha$-下水平集**（*$\alpha$-sublevel set*）定义为 $$ -C_{\alpha}=\{x\in\mathbf{dom}f\mid f(x)\leqslant\alpha\} +C_{\alpha}=\{x\in\dom f\mid f(x)\leqslant\alpha\} $$ 对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：如果 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。   反过来不一定正确：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。例如，函数 $f(x)=-e^x$ 在 $\mathbf{R}$ 上不是凸函数（实质上，它是严格凹函数），但是其所有下水平集均为凸集。 -  如果 $f$ 是凹函数，则由 $\{x\in\mathbf{dom}f\mid f(x)\geqslant\alpha\}$ 定义的 $\alpha$-上水平集也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。 +  如果 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。 > **举例** 对于 $x\in\mathbf{R}_+^n$，其几何平均和算术平均分别为 > > $$ -> G(x)=\left(\prod_{i=1}^{n}x_{i}\right)^{1/n},\quad A(x)=\frac{1}{n}\sum_{i=1}^{n}x_{i} +> G(x)=\left(\prod_{i=1}^{n}x_{i}\right)^{1/n},\qquad A(x)=\frac{1}{n}\sum_{i=1}^{n}x_{i} > $$ > > （在 $G$ 中，定义 $0^{1/n}=0$）。算术几何平均不等式为 $G(x)\leqslant A(x)$。 @@ -348,6 +360,173 @@ $$ > 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数 $G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥 +# 7. 上境图 + +  函数 $f:\mathbf{R}^{n}\to\mathbf{R}$ 的图像定义为 + +$$ +\{(x,f(x))\mid x\in\dom f\} +$$ + +它是 $\mathbf{R}^{n+1}$ 空间的一个子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为 + +$$ +\epi f=\{(x,t)\mid x\in\dom f,f(x)\leqslant t\} +$$ + +它也是 $\mathbf{R}^{n+1}$ 空间的一个子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。 + + + +![图 5. 函数 $f$ 的上境图，见阴影部分。深颜色的下边界是函数 $f$ 的图像。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-050-EpigraphOfF.png){width=400px} + +  凸集和凸函数的联系可以通过上境图来建立：一个函数是凸函数，当且仅当其上境图是凸集。一个函数是凹函数，当且仅当其**亚图**（*hypograph*） + +$$ +\hypo f=\{(x,t)\mid t\leqslant f(x)\}, +$$ + +是凸集。 + +> **举例** **矩阵分式函数**。矩阵分式函数 $f:\mathbf{R}^n\times\mathbf{S}^n\to\mathbf{R}$ +> +> $$ +> f(x,Y)=x^\TT Y^{-1}x +> $$ +> +> 在定义域 $\dom f=\mathbf{R}^n\times\mathbf{S}_{++}^n$ 上是凸的。（这实质上是定义域为 $\dom f=\mathbf{R}\times\mathbf{R}_{++}$ 的二次-线性分式函数 $f(x,y)=x^2/y$ 的一个扩展。） +> +> 一个简单的方式来验证矩阵分式函数 $f$ 的凸性是通过其上境图 +> +> $$\begin{aligned} +> \epi f &= \left\{(x,Y,t)\mid Y\succ0,\ x^\TT Y^{-1}x\leqslant t\right\} +> \\ +> &=\left\{(x,Y,t)\:\middle|\left[\begin{array}{cc} +> Y&x +> \\ +> x^\TT&t +> \end{array}\right]\succeq0,\:Y\succ0\right\} +> \end{aligned}$$ +> +> 并应用 Schur 补条件判断分块矩阵的半正定性。最后一个条件是关于 $(x,Y,t)$ 的线性矩阵不等式，因此 $\epi f$ 是凸集。 +> +> 对于 $n=1$ 的特殊情况，矩阵分式函数简化为二次-线性分式函数 $x^2/y$，相应的线性矩阵不等式表示为 +> $$ +> \left[\begin{array}{cc}y&x\\x&t\end{array}\right]\succeq0,\quad y>0 +> $$ +> +> （函数图像如[图 3](#图3) 所示）。 + +  关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），作为一个例子，考虑凸函数的一阶条件 + +$$ +f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x) +$$ + +其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\mathbf{epi}f$，有 + +$$ +t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x) +$$ + +上式可以描述为 + +$$ +(y,t)\in\epi f\implies\left[\begin{array}{c}\nabla f(x)\\-1\end{array}\right]^\TT \left(\left[\begin{array}{c}y\\t\end{array}\right]-\left[\begin{array}{c}x\\f(x)\end{array}\right]\right)\leqslant0 +$$ + +这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$；如[图 6](#图6) 所示。 + + + +![图 6. 对于可微凸函数 $f$，向量 $(\nabla f(x),-1)$ 定义了函数 $f$ 在点 $x$ 处的上境图的一个支撑超平面。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-060-EpigraphAndSupportingHyperplane.png){width=400px} + +# 8. Jensen 不等式及其扩展 + +  基本不等式 + +$$ +f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y) +$$ + +有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：如果函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立 + +$$ +f(\theta_1x_1+\cdots+\theta_kx_k)\leqslant\theta_1f(x_1)+\cdots+\theta_kf(x_k) +$$ + +考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，如果在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立 + +$$ +f\left(\int_Sp(x)x\dd x\right)\leqslant\int_Sf(x)p(x)\dd x +$$ + +扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有 + +$$\begin{equation}\label{GeneralJensenInequality} + f(\mathbf{E}x)\leqslant\mathbf{E}f(x) +\end{equation}$$ + +设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbf{E}x)>\mathbf{E}f(x)$。 + +  上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单 + +$$ +f\left(\frac{x+y}2\right)\leqslant\frac{f(x)+f(y)}2 +$$ + +> **注释** 我们可以这样理解式 $\eqref{GeneralJensenInequality}$。假设 $x\in\dom f\subseteq\mathbf{R}^n$，$z$ 是 $\mathbf{R}^n$ 中的随机变量，其均值为零，则有 +> +> $$ +> \mathbf{E}f(x+z)\geqslant f(x) +> $$ +> +> 因此，随机化或者扰动（即在自变量上增加一个零均值的随机变量）从平均效果上不会减小凸函数的值。 + +# 9. 不等式 + +  很多著名的不等式都可以通过将 Jensen 不等式应用于合适的凸函数得到。（事实上，凸性和 Jensen 不等式可以构成不等式理论的基础。） + +> **举例** 考虑算术-几何平均不等式 +> +> $$\begin{equation}\label{ArithmeticGeometricMeanInequality} +> \sqrt{a b} \leqslant( a+b ) / 2 +> \end{equation}$$ +> +> 其中 $a, b \geqslant0$。我们可以利用凸性和 Jensen 不等式得到此不等式。函数 $-\log x$ 是凸函数：利用 Jensen 不等式，令 $\theta=1 / 2$ ，可得 +> +> $$ +> -\log \left( \frac{a+b} {2} \right) \leqslant\frac{-\log a-\log b} {2} +> $$ +> +> 等式两边取指数即可得到式 $\eqref{ArithmeticGeometricMeanInequality}$。 + +> **举例** 证明 Hölder 不等式：对 $p > 1$，$1 / p+1 / q=1$，以及 $x,y \in\mathbf{R}^{n}$ 有 +> +> $$ +> \sum_{i=1}^{n} x_{i} y_{i} \leqslant\left( \sum_{i=1}^{n} | x_{i} |^{p} \right)^{1 / p} \left( \sum_{i=1}^{n} | y_{i} |^{q} \right)^{1 / q} +> $$ +> +> 由 $-\log x$ 的凸性以及 Jensen 不等式，可以得到更为一般的算术-几何平均不等式 +> +> $$ +> a^{\theta} b^{1-\theta} \leqslant\theta a+( 1-\theta) b, +> $$ +> +> 其中 $a,b \geqslant0$，$0 \leqslant\theta\leqslant1$。令 +> +> $$ +> a=\frac{| x_{i} |^{p}} {\displaystyle\sum_{j=1}^{n} | x_{j} |^{p}}, \qquad b=\frac{| y_{i} |^{q}} {\displaystyle\sum_{j=1}^{n} | y_{j} |^{q}}, \qquad\theta=1 / p, +> $$ +> +> 可以得到如下不等式 +> +> $$ +> \left( \frac{| x_{i} |^{p}} {\displaystyle\sum_{j=1}^{n} | x_{j} |^{p}} \right)^{1 / p} \left( \frac{| y_{i} |^{q}} {\displaystyle\sum_{j=1}^{n} | y_{j} |^{q}} \right)^{1 / q} \leqslant\frac{| x_{i} |^{p}} {p \displaystyle\sum_{j=1}^{n} | x_{j} |^{p}}+\frac{| y_{i} |^{q}} {q \displaystyle\sum_{j=1}^{n} | y_{j} |^{q}}. +> $$ +> +> 对 $i$ 进行求和可以得到 Hölder 不等式。 + # 参考文献 1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004. diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-050-EpigraphOfF.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-050-EpigraphOfF.png new file mode 100644 index 0000000..583808f Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-050-EpigraphOfF.png differ diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-060-EpigraphAndSupportingHyperplane.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-060-EpigraphAndSupportingHyperplane.png new file mode 100644 index 0000000..83b5465 Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-060-EpigraphAndSupportingHyperplane.png differ