josh/josh-blog-source
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

update posts

Browse Source
This commit is contained in:
josh
2024-10-11 20:58:04 +08:00
parent 4bcbbf54b0
commit 25e0a81a87
2 changed files with 372 additions and 91 deletions
Download Patch File Download Diff File Expand all files Collapse all files
source/_posts/2024-06-14-josh-cvx-2-1.md
+17 -17
View File
@@ -32,13 +32,13 @@ $
\def\epi{\mathop{\bf epi}}
\def\hypo{\mathop{\bf hypo}}
\def\prob{\mathop{\bf prob}}
$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，若 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
$$\begin{equation}\label{DefinitionOfConvexFunction}
f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
\end{equation}$$
&emsp;&emsp;从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方（如[图 1](#图1)所示）。称函数 $f$ 是**严格凸**（*strictly convex*）的，如果式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，如果函数 $-f$ 是凸的，称函数 $f$ 是**严格凹**（*strictly concave*）的，如果 $-f$ 严格凸。
&emsp;&emsp;从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方（如[图 1](#图1)所示）。称函数 $f$ 是**严格凸**（*strictly convex*）的，若式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，若函数 $-f$ 是凸的；称函数 $f$ 是**严格凹**（*strictly concave*）的，若 $-f$ 严格凸。
<a id="图1"></a>
@@ -63,7 +63,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线 $x+tv$ 上的值。
- 检查凸性：如果对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，那么我们就说原函数 $f$ 是凸的。也就是说，如果 $f$ 在所有限制的直线上都是凸的，那么 $f$ 本身就是凸的。
- 检查凸性：若对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，则我们就说原函数 $f$ 是凸的。也就是说，若 $f$ 在所有限制的直线上都是凸的，则 $f$ 本身就是凸的。
通过限制在直线上，我们将原来的多变量问题简化为单变量问题。对于单变量函数，判断凸性要比多变量情况简单得多。这使得我们可以用更简单的方法来判断一个函数是否是凸的。
@@ -73,7 +73,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
> g(t)=f((a,b)+t(c,d))=f(a+tc,b+td)=(a+tc)^2+(b+td)^2
> $$
>
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。如果对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，那么原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。若对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，则原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
总的来说，"将函数限制在直线上"意味着通过沿着任意方向取直线来简化判断多变量函数的凸性，从而可以更方便地确定函数的整体凸性。
@@ -83,7 +83,7 @@ intersects its domain. In other words $f$ is convex if and only if for all $x\in
# 2. 扩展值延伸
&emsp;&emsp;通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
&emsp;&emsp;通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。若 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
$$
\tilde{f}(x)=\begin{cases}
f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f
@@ -131,13 +131,13 @@ $$\begin{equation}\label{FirstOrderCondition}
<a id="图2"></a>
![图 2. 如果函数 $f$ 是凸的且可微，那么对于任意 $x,y\in\dom f$，有 $f(x)+\nabla f(x)^\TT(y-x)\leqslant f( y)$。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png){width=500px}
![图 2. 若函数 $f$ 是凸的且可微，则对于任意 $x,y\in\dom f$，有 $f(x)+\nabla f(x)^\TT(y-x)\leqslant f( y)$。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png){width=500px}
&emsp;&emsp;由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，如果某个函数的一阶 Taylor 近似总是其全局下估计，那么这个函数是凸的。
&emsp;&emsp;由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，若某个函数的一阶 Taylor 近似总是其全局下估计，则这个函数是凸的。
&emsp;&emsp;不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些**全局信息**（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。
> **举例**&emsp;由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
> **举例**&emsp;由不等式 $\eqref{FirstOrderCondition}$ 可以知道，若 $\nabla f(x)=0$，则对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
&emsp;&emsp;严格凸性同样可以由一阶条件刻画：函数 $f$ 严格凸的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，$x\neq y$，有
@@ -213,7 +213,7 @@ $$
对于 $\mathbf{R}$ 上的函数，上式可以简化为一个简单的条件 $f''(x)\geqslant0$（$\dom f$ 是凸的，即一个区间），此条件说明函数 $f$ 的导数是非减的。条件 $\nabla^2f(x)\succeq0$ 从几何上可以理解为函数图像在点 $x$ 处具有正（向上）的曲率。
&emsp;&emsp;类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。如果对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
&emsp;&emsp;类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。若对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
> **举例**&emsp;**二次函数**。考虑二次函数 $f:\mathbf{R}^n\to\mathbf{R}$，其定义域为 $\dom f=\mathbf{R}^n$，其表达式为
>
@@ -283,7 +283,7 @@ $$
&emsp;&emsp;判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式 $\eqref{DefinitionOfConvexFunction}$ 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。
**范数**。如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
**范数**。若函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
$$
f(\theta x+(1-\theta)y)\leqslant f(\theta x)+f((1-\theta)y)=\theta f(x)+(1-\theta)f(y)
@@ -372,11 +372,11 @@ $$
C_{\alpha}=\{x\in\dom f\mid f(x)\leqslant\alpha\}
$$
对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：如果 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：若 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
&emsp;&emsp;反过来不一定正确：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。例如，函数 $f(x)=-e^x$ 在 $\mathbf{R}$ 上不是凸函数（实质上，它是严格凹函数），但是其所有下水平集均为凸集。
&emsp;&emsp;如果 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
&emsp;&emsp;若 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
> **举例**&emsp;对于 $x\in\mathbf{R}_+^n$，其几何平均和算术平均分别为
>
@@ -457,7 +457,7 @@ $$
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
$$
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\epi f$，有
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。若 $(y,t)\in\epi f$，有
$$
t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
@@ -483,25 +483,25 @@ $$
f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
$$
有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：如果函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：若函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
$$
f(\theta_1x_1+\cdots+\theta_kx_k)\leqslant\theta_1f(x_1)+\cdots+\theta_kf(x_k)
$$
考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，如果在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，若在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
$$
f\left(\int_Sp(x)x\dd x\right)\leqslant\int_Sf(x)p(x)\dd x
$$
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。若 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
$$\begin{equation}\label{GeneralJensenInequality}
f(\mathbb{E}x)\leqslant\mathbb{E}f(x)
\end{equation}$$
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：若函数 $f$ 不是凸函数，则存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
&emsp;&emsp;上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单
source/_posts/2024-07-03-josh-cvx-2-2.md
+355 -74
View File
@@ -27,13 +27,14 @@ $
\newcommand{\dd}{\mathrm{d}}
\newcommand{\TT}{\mathrm{T}}
\def\diag{\mathop{\bf diag}}
\def\dist{\mathop{\bf dist}}
\def\dom{\mathop{\bf dom}}
\def\epi{\mathop{\bf epi}}
$&emsp;&emsp;本文讨论几种保持函数凸性或者凹性的运算，这样可以构造新的凸函数或者凹函数。首先从一些简单的运算开始，如求和、伸缩以及逐点上确界，之后再介绍一些更为复杂的运算（其中一些运算的特例即为简单运算）。
# 1. 非负加权求和
&emsp;&emsp;显然，如果函数 $f$ 是凸函数且 $\alpha\geqslant0$，则函数 $\alpha f$ 也是凸函数。如果函数 $f_1$ 和 $f_2$ 都是凸函数，则它们的和 $f_1+f_2$ 也是凸函数。将非负伸缩以及求和运算结合起来，可以看出，凸函数的集合本身是一个凸锥：凸函数的非负加权求和仍然是凸函数，即函数
&emsp;&emsp;显然，若函数 $f$ 是凸函数且 $\alpha\geqslant0$，则函数 $\alpha f$ 也是凸函数。若函数 $f_1$ 和 $f_2$ 都是凸函数，则它们的和 $f_1+f_2$ 也是凸函数。将非负伸缩以及求和运算结合起来，可以看出，凸函数的集合本身是一个凸锥：凸函数的非负加权求和仍然是凸函数，即函数
$$
f=w_1f_1+\cdots+w_mf_m
@@ -41,17 +42,17 @@ $$
是凸函数。类似地，凹函数的非负加权求和仍然是凹函数。严格凸（凹）函数的非负，非零加权求和是严格凸（凹）函数。
&emsp;&emsp;这个性质可以扩展至无限项的求和以及积分的情形。例如，如果对于每一个 $y\in\mathcal{A}$，函数 $f(x,y)$ 是关于 $x$ 的凸函数，且有 $w(y)\geqslant 0$，则函数
&emsp;&emsp;这个性质可以扩展至无限项的求和以及积分的情形。例如，若对于每一个 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸函数，且 $w(y)\geqslant 0$，则函数
$$
g(x)=\int_{\mathcal{A}}w(y)f(x,y)\dd y
$$
关于 $x$ 是凸函数（若此积分存在）。
关于 $x$是凸函数（若此积分存在）。
<!-- more -->
&emsp;&emsp;可以很容易直接验证非负伸缩以及求和运算是保凸运算，或者可以根据相关的上境图得到此结论。例如，如果 $w\geqslant 0$ 且 $f$ 是凸函数，则有
&emsp;&emsp;容易验证非负伸缩以及求和运算是保凸运算，或者可以根据相关的上境图得到此结论。例如，若 $w\geqslant 0$ 且 $f$ 是凸函数，则有
$$
\epi (wf)=\left[\begin{array}{cc}
@@ -62,9 +63,38 @@ $$
因为凸集通过线性变换得到的像仍然是凸集，所以 $\epi(wf)$ 是凸集。
{% note info 注解 %}
这里对上镜图的相关结论进行解释。函数 $f:\mathbf{R}^{n}\to\mathbf{R}$ 的上镜图定义为
$$
\epi f=\{(x,t)\mid f(x)\leqslant t\}
$$
则有
$$\begin{aligned}
\left[\begin{array}{cc}
I&0\\
0&w
\end{array}\right]\epi f&=\left\{\left[\begin{array}{cc}
I&0\\
0&w
\end{array}\right](x,t)\:\middle|\: f(x)\leqslant t\right\}
\\
&= \{(x,wt)\mid f(x)\leqslant t\}
\\
&= \{(x,t)\mid wf(x)\leqslant t\}
\\
&= \epi (wf)
\end{aligned}
$$
{% endnote %}
# 2. 复合仿射映射
&emsp;&emsp;假设函数 $f:\mathbf{R}^n\to\mathbf{R}$，$A\in\mathbf{R}^{n\times m}$，$b\in\mathbf{R}^n$，定义 $g:\mathbf{R}^m\to\mathbf{R}$ 为
&emsp;&emsp;假设函数 $f:\mathbf{R}^n\to\mathbf{R}$，$A\in\mathbf{R}^{n\times m}$，$b\in\mathbf{R}^n$，定义**复合仿射映射**（*composition with an affine mapping*）$ g:\mathbf{R}^m\to\mathbf{R}$ 为
$$
g(x)=f(Ax+b)
@@ -74,7 +104,9 @@ $$
# 3. 逐点最大和逐点上确界
&emsp;&emsp;如果函数 $f_{1}$ 和 $f_{2}$ 均为凸函数，则二者的**逐点最大**（*pointwise maximum*）函数
## 3.1 逐点最大
&emsp;&emsp;若函数 $f_{1}$ 和 $f_{2}$ 均为凸函数，则二者的**逐点最大**（*pointwise maximum*）函数
$$
f(x)=\max\{f_1(x),f_2(x)\}
@@ -92,7 +124,7 @@ f(\theta x+(1-\theta)y)&=\max\{f_1(\theta x+(1-\theta)y),f_2(\theta x+(1-\theta)
&=\theta f(x)+(1-\theta)f(y)
\end{aligned}$$
从而说明了函数 $f$ 的凸性。同样很容易证明，如果函数 $f_1,\cdots,f_m$ 为凸函数，则它们的逐点最大函数
从而得到了函数 $f$ 的凸性。同样很容易证明，若函数 $f_1,\cdots,f_m$ 为凸函数，则它们的逐点最大函数
$$
f(x)=\max\{f_1(x),\cdots,f_m(x)\}
@@ -100,15 +132,21 @@ $$
仍然是凸函数。
> **举例**&emsp;**分片线性函数**（*Piecewise-linear functions*）。函数
> **举例**&emsp;**分段线性函数**（*Piecewise-linear functions*）。函数
>
> $$
> f(x)=\max\left\{a_1^\TT x+b_1,\cdots,a_L^\TT x+b_L\right\}
> $$
>
> 定义了一个（具有 $L$ 个或者更少的子区域）分片线性函数（实际上是仿射函数）。因为它是一系列仿射函数的逐点最大函数，所以它是凸函数。反之亦成立：任意具有 $L$ 个或者更少子区域的分片线性凸函数都可以表述成上述形式。
> 定义了一个（具有不大于 $L$ 个子区域的）分段线性函数（实际上是仿射函数）。因为它是一系列仿射函数的逐点最大函数，所以它是凸函数。反之亦成立：任意具有不大于 $L$ 个子区域的分段线性凸函数都可以表述成上述形式。
>
> {% note info 注解 %}
> 参考 Wikipedia，[分段线性函数词条](https://en.wikipedia.org/wiki/Piecewise_linear_function)即为我们通常理解的分段函数，但是这里的分段线性函数有所不同，定义为多个分段函数的逐点最大，因此数凸的。
>
> 关于子区域数量，可以这样理解：若 $L$ 个仿射函数相邻两段各不相同，则每一段仿射函数均对应着一个子区域，因此最多共有 $L$ 个子区域。
> {% endnote %}
> **举例**&emsp;**最大 $r$ 个分量之和**。对于任意 $x\in\mathbf{R}^n$，用 $x_{[i]}$ 表示 $x$ 中第 $i$ 大的分量，即将 $x$ 的分量按照非升序进行排列得到下式
> **举例**&emsp;**最大 $r$ 个分量之和**。对于任意 $x\in\mathbf{R}^n$，用 $x_{[i]}$ 表示 $x$ 中第 $i$ 大的分量，将 $x$ 的分量按照非升序进行排列
>
> $$
> x_{[1]}\geqslant x_{[2]}\geqslant\cdots\geqslant x_{[n]}
@@ -128,9 +166,23 @@ $$
>
> 即从 $x$ 的分量中选取 $r$ 个不同分量进行求和的所有可能组合的最大值。因为函数 $f$ 是 $\displaystyle\frac{n!}{r!(n-r)!}$ 个线性函数的逐点最大，所以是凸函数。
>
> 作为一个扩展，可以证明当 $w_1\geqslant w_2\geqslant\cdots\geqslant w_r\geqslant 0$ 时，函数 $\displaystyle\sum_{i=1}^rw_ix_{[i]}$ 是凸函数。
> 进一步可以证明，当 $w_1\geqslant w_2\geqslant\cdots\geqslant w_r\geqslant 0$ 时，函数 $\displaystyle\sum_{i=1}^rw_ix_{[i]}$ 是凸函数。
&emsp;&emsp;逐点最大的性质可以扩展至无限个凸函数的逐点上确界。如果对于任意 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸的，则函数
## 3.2 逐点上确界
&emsp;&emsp;逐点最大的性质可以扩展至无限个凸函数的**逐点上确界**（*pointwise supremum*）。
{% note info 上确界和下确界 %}
&emsp;&emsp;假定 $C\subseteq\mathbf{R}$。若对每个 $x\in C$ 均有 $x\leqslant a$，则称 $a$ 是 $C$ 的**上界**（*upper bound*）。$C$ 的上界组成的集合或是空集（此时称 $C$ 无上界），或等于 $\mathbf{R}$（仅当 $C=\emptyset$ 时），或是闭的无限区间 $[b,\infty)$。称 $b$ 为 $C$ 的**最小上界**（*least upper bound*）或**上确界**（*supremum*），用 $\sup C$ 表示。规定 $\sup\emptyset=-\infty$，当 $C$ 无上界时取 $\sup C=\infty$。当 $\sup C\in C$ 时，称 $C$ 的上确界是可达的。
&emsp;&emsp;当 $C$ 是有限集时，$\sup C$ 是它所有元素的最大值。一些作者用符号 $\max C$ 表示可达的上确界，但我们采用标准的数学习惯，只在 $C$ 是有限集时用 $\max C$。
&emsp;&emsp;类似地，可以定义下界和下确界。若对每个 $x\in C$ 均有 $a\leqslant x$，则称 $a$ 是 $C\subseteq\mathbf{R}$ 的下界。$C\subseteq\mathbf{R}$ 的**下确界**（*infimum*）或**最大下界**（*greatest lower bound*）定义为 $\inf C=-\sup(-C)$。当 $C$ 是有限集时，下确界是它所有元素的最小值。规定 $\inf\emptyset=\infty$，并在 $C$ 无下界时，取 $\inf C=-\infty$。
{% endnote %}
&emsp;&emsp;若对于任意 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸的，则函数
$$\begin{equation}\label{PointwiseMaximum}
g(x)=\sup_{y\in\mathcal{A}}f(x,y)
@@ -190,7 +242,7 @@ $$
> g(w)=\inf_{x}(Ax-b)^{\TT}W(Ax-b)=\inf_{x}(x^{\TT}A^{\TT}WAx-2b^{\TT}WAx+b^{\TT}Wb)
> $$
>
> 从上式可以看出，若 $A^TWA\not\succeq0$，括号里的二次函数关于 $x$ 无下界，故 $g(w)=-\infty$，即 $w\not\in\dom g$。当 $A^\TT WA\succ0$ 时（即定义了一个严格的线性矩阵不等式），通过解析求解二次函数的极小值，可以得到函数 $g$ 的一个简单的表达式
> 从上式可以看出，若 $A^{\TT}WA\not\succeq0$，括号里的二次函数关于 $x$ 无下界，故 $g(w)=-\infty$，即 $w\not\in\dom g$。当 $A^\TT WA\succ0$ 时（即定义了一个严格的线性矩阵不等式），通过解析求解二次函数的极小值，可以得到函数 $g$ 的一个简单的表达式
>
> $$\begin{aligned}
> g(w)&=b^{\TT}Wb-b^{\TT}WA(A^{\TT}WA)^{-1}A^{\TT}Wb
@@ -222,9 +274,9 @@ $$
> \|X\|_{a,b}=\sup_{v\neq0}\frac{\|Xv\|_{a}}{\|v\|_{b}}
> $$
## 3.1 表示成一族仿射函数的逐点上确界
## 3.3 表示成一族仿射函数的逐点上确界
&emsp;&emsp;上述例子描述了一个建立函数凸性的好方法：将函数表示为一族仿射函数的逐点上确界。除了一个技术条件，反过来也是成立的：几乎所有的凸函数都可以表示成一族仿射函数的逐点上确界。例如，如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸函数，其定义域为 $\dom f=\mathbf{R}^n$，我们有
&emsp;&emsp;上述例子描述了一个建立函数凸性的好方法：将函数表示为一族仿射函数的逐点上确界。除了一个技术条件，反过来也是成立的：几乎所有的凸函数都可以表示成一族仿射函数的逐点上确界。例如，若函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸函数，其定义域为 $\dom f=\mathbf{R}^n$，我们有
$$
f(x)=\sup\{g(x)\mid g\:\text{仿射},\:g(z)\leqslant f(z)\:\forall z\}
@@ -246,27 +298,26 @@ $$
\left[ \begin{array} {c} a \\ b \\ \end{array} \right]^{\TT} \left[ \begin{array} {c} {x-z} \\ {f ( x )-t} \\ \end{array} \right] \leqslant0.
$$
即对任意 $z\in\dom f=\mathbf{R}^n$ 以及所有 $s\geqslant0$（$(z,t)\in\mathbf{epi}f$ 等价于存在 $s\geqslant0$ 使得 $t=f(z)+s$），下式成立
即对任意 $z\in\dom f=\mathbf{R}^n$ 以及所有 $s\geqslant0$（$(z,t)\in\epi f$ 等价于存在 $s\geqslant0$ 使得 $t=f(z)+s$），下式成立
$$\begin{equation}\label{ProofOfAffineFunctionRepresentation}
a^\TT(x-z)+b(f(x)-f(z)-s)\leqslant0
\end{equation}
$$
为了保证不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 对所有的 $s\geqslant0$ 均成立，必须有 $b\geqslant0$。如果 $b=0$，对所有的$z\in\mathbf{R}^n$，不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以简化为 $a^\TT(x-z)\leqslant0$，这意味着 $a=0$，于是和假设 $(a,b)\neq0$ 矛盾。因此 $b>0$，即支撑超平面不是竖直的。
为了保证不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 对所有的 $s\geqslant0$ 均成立，必须有 $b\geqslant0$。若 $b=0$，对所有的$z\in\mathbf{R}^n$，不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以简化为 $a^\TT(x-z)\leqslant0$，这意味着 $a=0$，于是和假设 $(a,b)\neq0$ 矛盾。因此 $b>0$，即支撑超平面不是竖直的。
&emsp;&emsp;我们知道 $b>0$，因此，对任意 $z$，令 $s=0$，式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以重新表述为
$$
g(z)=f(x)+(a/b)^{T}(x-z)\leqslant f(z)
g(z)=f(x)+(a/b)^{\TT}(x-z)\leqslant f(z)
$$
由此说明函数 $g$ 是函数 $f$ 的一个仿射下估计，并且满足 $g(x)=f(x)$。
# 4. 复合
&emsp;&emsp;本节给定函数 $h:\mathbf{R}^k\to\mathbf{R}$ 以及 $g:\mathbf{R}^n\to\mathbf{R}^k$，定义复合函数 $f=h\circ g:\mathbf{R}^n\to\mathbf{R}$
为
&emsp;&emsp;本节给定函数 $h:\mathbf{R}^k\to\mathbf{R}$ 以及 $g:\mathbf{R}^n\to\mathbf{R}^k$，定义复合函数 $f=h\circ g:\mathbf{R}^n\to\mathbf{R}$ 为
$$
f(x)=h(g(x)),\quad\dom f=\{x\in\dom g\mid g(x)\in\dom h\}
@@ -280,33 +331,33 @@ $$
&emsp;&emsp;为了找出复合规律，首先假设函数 $h$ 和 $g$ 是二次可微的，且 $\dom g= \dom h= \mathbf{R}$。在上述假设下，函数 $f$ 是凸的等价于 $f^{\prime\prime}\geqslant 0$（即对所有的 $x\in\mathbf{R}$，$f^{\prime\prime}(x)\geqslant 0$）。
&emsp;&emsp;复合函数$f=h\circ g$的二阶导数为
&emsp;&emsp;复合函数 $f=h\circ g$ 的二阶导数为
$$\begin{equation}\label{SecondDerivativeOfCompositionFunction}
$$\begin{equation}\label{SecondDerivativeOfScalarCompositionFunction}
f''(x)=h''(g(x))g'(x)^2+h'(g(x))g''(x)
\end{equation}$$
假设函数 $g$ 是凸函数（$g^{\prime\prime}\geqslant 0$），函数 $h$ 是凸函数且非减（即$h^{\prime\prime}\geqslant0$ 且 $h^{\prime}\geqslant0$），从式 $\eqref{SecondDerivativeOfCompositionFunction}$ 可以得出 $f^{\prime\prime}\geqslant 0$，即函数 $f$ 是凸函数。类似地，由式 $\eqref{SecondDerivativeOfCompositionFunction}$ 可以得出如下结论
假设函数 $g$ 是凸函数（$g^{\prime\prime}\geqslant 0$），函数 $h$ 是凸函数且非减（即$h^{\prime\prime}\geqslant0$ 且 $h^{\prime}\geqslant0$），从式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 可以得出 $f^{\prime\prime}\geqslant 0$，即函数 $f$ 是凸函数。类似地，由式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 可以得出如下结论
$$\begin{equation}\label{Conclusion1}\begin{aligned}
如果\,h\,是凸函数且非减，g\,是凸函数，则\,f\,是凸函数，\\
如果\,h\,是凸函数且非增，g\,是凹函数，则\,f\,是凸函数，\\
如果\,h\,是凹函数且非减，g\,是凹函数，则\,f\,是凹函数，\\
如果\,h\,是凹函数且非增，g\,是凸函数，则\,f\,是凹函数。
若\,h\,是凸函数且非减，g\,是凸函数，则\,f\,是凸函数，\\
若\,h\,是凸函数且非增，g\,是凹函数，则\,f\,是凸函数，\\
若\,h\,是凹函数且非减，g\,是凹函数，则\,f\,是凹函数，\\
若\,h\,是凹函数且非增，g\,是凸函数，则\,f\,是凹函数。
\end{aligned}\end{equation}$$
上述结论在函数 $g$ 和 $h$ 二次可微且定义域均为 $\mathbf{R}$ 时成立。事实上，对于更一般的情况，如 $n>1$，不再假设函数 $h$ 和 $g$ 可微或者 $\dom g=\mathbf{R}^n$，$\dom h=\mathbf{R}$，一些相似的复合规则仍然成立
$$\begin{equation}\label{Conclusion2}\begin{aligned}
如果\,h\,是凸函数且\,\tilde{h}\,非减，\,g\,是凸函数，则\,f\,是凸函数，\\
如果\,h\,是凸函数且\,\tilde{h}\,非增，\,g\,是凹函数，则\,f\,是凸函数，\\
如果\,h\,是凹函数且\,\tilde{h}\,非减，\,g\,是凹函数，则\,f\,是凹函数，\\
如果\,h\,是凹函数且\,\tilde{h}\,非增，\,g\,是凸函数，则\,f\,是凹函数。
若\,h\,是凸函数且\,\tilde{h}\,非减，\,g\,是凸函数，则\,f\,是凸函数，\\
若\,h\,是凸函数且\,\tilde{h}\,非增，\,g\,是凹函数，则\,f\,是凸函数，\\
若\,h\,是凹函数且\,\tilde{h}\,非减，\,g\,是凹函数，则\,f\,是凹函数，\\
若\,h\,是凹函数且\,\tilde{h}\,非增，\,g\,是凸函数，则\,f\,是凹函数。
\end{aligned}\end{equation}$$
其中，$\tilde{h}$ 表示函数 $h$ 的扩展值延伸，若点不在 $\dom h$内，对其赋值 $\infty$（若 $h$ 是凸函数）或者$-\infty$（若 $h$ 是凹函数）。这些结论和式 $\eqref{Conclusion1}$ 中的结论的唯一不同是我们要求**扩展值延伸**（*extended-value extension*）$\tilde{h}$ 在整个 $\mathbf{R}$ 上非增或者非减。
其中，$\tilde{h}$ 表示函数 $h$ 的扩展值延伸，若点不在 $\dom h$ 内，对其赋值 $\infty$（若 $h$ 是凸函数）或者$-\infty$（若 $h$ 是凹函数）。这些结论和式 $\eqref{Conclusion1}$ 中的结论的唯一不同是我们要求**扩展值延伸**（*extended-value extension*）$\tilde{h}$ 在整个 $\mathbf{R}$ 上非增或者非减。
&emsp;&emsp;为了更好地理解式 $\eqref{Conclusion2}$ 中的结论，假设 $h$ 是凸函数，所以 $\tilde{h}$ 在定义域 $\dom h$ 外取值为$\infty$。$\tilde{h}$ 非减意味着对于任意 $x,y\in\mathbf{R}$，$x<y$，有 $\tilde{h}(x)\leqslant\tilde{h}(y)$。特别地，若 $y\in\dom h$，则$x\in\dom h$。换言之，我们可以认为 $h$ 的定义域在负方向上无限延伸。它或者是 $\mathbf{R} 或者是形如 $(-\infty,a)$ 或 $\left(-\infty,a\right]$ 的区间。类似地，若 $h$ 是凸函数且 $\tilde{h}$ 非增，我们可以理解为 $h$ 是非增的且 $\dom h$在正方向上趋于无穷。[图 7](#图7) 描述了不同的扩展值延伸的情况。
&emsp;&emsp;为了更好地理解式 $\eqref{Conclusion2}$ 中的结论，假设 $h$ 是凸函数，所以 $\tilde{h}$ 在定义域 $\dom h$ 外取值为 $\infty$。$\tilde{h}$ 非减意味着对于任意 $x,y\in\mathbf{R}$，$x<y$，有 $\tilde{h}(x)\leqslant\tilde{h}(y)$。特别地，若 $y\in\dom h$，则 $x\in\dom h$。换言之，我们可以认为 $h$ 的定义域在负方向上无限延伸。它或者是 $\mathbf{R}$ 或者是形如 $(-\infty,a)$ 或 $\left(-\infty,a\right]$ 的区间。类似地，若 $h$ 是凸函数且 $\tilde{h}$ 非增，我们可以理解为 $h$ 是非增的且 $\dom h$ 在正方向上趋于无穷。[图 7](#图7) 描述了不同的扩展值延伸的情况。
<a id="图7"></a>
@@ -314,59 +365,289 @@ $$\begin{equation}\label{Conclusion2}\begin{aligned}
> **举例**&emsp;通过一些简单例子，我们可以更好地理解复合定理中函数 $h$ 需要满足的条件。
>
> - 函数 $h(x)=\log x$，定义域为 $\dom h=\mathbf{R}_{++}$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^1/2$，定义域为 $\dom h=\mathbf{R}_+$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^{3/2}$，定义域为 $\dom h=\mathbf{R}_+$，为凸函数，但是不满足 $\tilde{h}$ 非减的条件。例如，$\tilde{\tilde{h}}(-1)=\infty$ 但 $\tilde{h}(1)=1$。
> - 当 $x\geqslant 0$ 时，$h(x)=x^3/2$，当 $x<0$ 时 $h(x)=0$，定义域为 $\dom h=\mathbf{R}$，$h$ 是凸函数且满足 $\tilde{h}$ 非减的条件。
> - 函数 $h(x)=\log x$：定义域为 $\dom h=\mathbf{R}_{++}$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^1/2$：定义域为 $\dom h=\mathbf{R}_+$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^{3/2}$：定义域为 $\dom h=\mathbf{R}_+$，为凸函数，但是**不**满足 $\tilde{h}$ 非减的条件。例如，$\tilde{h}(-1)=\infty$ 但 $\tilde{h}(1)=1$。
> - 当 $x\geqslant 0$ 时，$h(x)=x^3/2$，当 $x<0$ 时，$h(x)=0$：定义域为 $\dom h=\mathbf{R}$，$h$ 是凸函数且满足 $\tilde{h}$ 非减的条件。
&emsp;&emsp;即使不假设可微并运用表达式 $\eqref{SecondDerivativeOfCompositionFunction}$，也可以直接证明复合函数结论式 $\eqref{Conclusion2}$。作为一个例子，我们证明如下结论：如果 $g$ 是凸函数，$h$ 是凸函数且 $\tilde{h}$ 非减，则 $f=h\circ g$ 是凸函数。假设 $x,y\in\dom f$，$0\leqslant\theta\leqslant1$。由 $x,y\in\dom f$，有 $x,y\in\dom g$ 且 $g( x)$, $g( y) \in \dom h$。因为 $\dom g$ 是凸集，有 $\theta x+(1-\theta)y\in\dom g$，由函数 $g$ 的凸性可得
&emsp;&emsp;即使不假设可微并运用表达式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$，也可以直接证明复合函数结论式 $\eqref{Conclusion2}$。举例来说，我们证明如下结论：若 $g$ 是凸函数，$h$ 是凸函数且 $\tilde{h}$ 非减，则 $f=h\circ g$ 是凸函数。
$$\begin{equation}\label{ConvexityOfFunctionG}
g(\theta x+(1-\theta)y)\leqslant\theta g(x)+(1-\theta)g(y)
\end{equation}
$$
由 $g(x),g(y)\in\dom h$ 可得 $\theta g(x)+(1-\theta)g(y)\in\dom h$，即式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内。根据假设 $\tilde{h}$ 是非减的，可以理解为其定义域在负方向上无限延伸。由式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内，我们知道其左侧仍在定义域内，即 $g(\theta x+(1-\theta)y)\in\dom h$，因此 $\dom f$ 是凸集。
&emsp;&emsp;根据前提条件，$\tilde{h}$ 非减，利用不等式 $\eqref{ConvexityOfFunctionG}$，有
$$\begin{equation}\label{NondecreasingOfFunctionH}
h(g(\theta x+(1-\theta)y))\leqslant h(\theta g(x)+(1-\theta)g(y))
\end{equation}
$$
由函数 $h$ 的凸性可得
$$\begin{equation}\label{ConvexityOfFunctionH}
h(\theta g(x)+(1-\theta)g(y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
\end{equation}
$$
综合式 $\eqref{NondecreasingOfFunctionH}$ 和式 $\eqref{ConvexityOfFunctionH}$ 可得
$$
h(g(\theta x+(1-\theta)y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
$$
复合定理得证。
> **举例**&emsp;简单的复合结论。
> **证明**&emsp;假设 $x,y\in\dom f$，$0\leqslant\theta\leqslant1$。由 $x,y\in\dom f$，有 $x,y\in\dom g$ 且 $g( x)$, $g( y) \in \dom h$。因为 $\dom g$ 是凸集，有 $\theta x+(1-\theta)y\in\dom g$，由函数 $g$ 的凸性可得
>
> - 如果 $g$ 是凸函数则 $\exp g(x)$ 是凸函数。
> - 如果 $g$ 是凹函数且大于零，则 $\log g(x)$ 是凹函数。
> - 如果 $g$ 是凹函数且大于零，则 $1/g(x)$是凸函数。
> - 如果 $g$ 是凸函数且不小于零，$p\geqslant1$，则 $g(x)^p$ 是凸函数。
> - 如果 $g$ 是凸函数，则 $-\log(-g(x))$ 在 $\{x\mid g(x)<0\}$ 上是凸函数。
> $$\begin{equation}\label{ConvexityOfFunctionG}
> g(\theta x+(1-\theta)y)\leqslant\theta g(x)+(1-\theta)g(y)
> \end{equation}
> $$
>
> 由 $g(x),g(y)\in\dom h$ 可得 $\theta g(x)+(1-\theta)g(y)\in\dom h$，即式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内。根据假设 $\tilde{h}$ 是非减的，可以理解为其定义域在负方向上无限延伸。由式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内，我们知道其左侧仍在定义域内，即 $g(\theta x+(1-\theta)y)\in\dom h$，因此 $\dom f$ 是凸集。
>
> 根据前提条件，$\tilde{h}$ 非减，利用不等式 $\eqref{ConvexityOfFunctionG}$，有
>
> $$\begin{equation}\label{NondecreasingOfFunctionH}
> h(g(\theta x+(1-\theta)y))\leqslant h(\theta g(x)+(1-\theta)g(y))
> \end{equation}
> $$
>
> 由函数 $h$ 的凸性可得
>
> $$\begin{equation}\label{ConvexityOfFunctionH}
> h(\theta g(x)+(1-\theta)g(y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
> \end{equation}
> $$
>
> 综合式 $\eqref{NondecreasingOfFunctionH}$ 和式 $\eqref{ConvexityOfFunctionH}$ 可得
>
> $$
> h(g(\theta x+(1-\theta)y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
> $$
>
> 复合定理得证。
> **举例**&emsp;**简单的复合结论**。
>
> - 若 $g$ 是凸函数，则 $\exp g(x)$ 是凸函数。
> - 若 $g$ 是凹函数且大于零，则 $\log g(x)$ 是凹函数。
> - 若 $g$ 是凹函数且大于零，则 $1/g(x)$是凸函数。
> - 若 $g$ 是凸函数且不小于零，$p\geqslant1$，则 $g(x)^p$ 是凸函数。
> - 若 $g$ 是凸函数，则 $-\log(-g(x))$ 在 $\{x\mid g(x)<0\}$ 上是凸函数。
> **注释**&emsp;扩展值延伸 $\tilde{h}$ 的单调性要求必须满足，注意到是 $\tilde{h}$，而不仅仅是 $h$。例如，考虑 $g( x) = x^2$，$\dom g = \mathbf{R}$，$h( x) = 0$，$\dom h= [ 1, 2]$ 复合的情形。此时 $g$ 是凸函数，$h$ 是凸函数且非减，但是函数 $f=h\circ g$
>
> $$
> f(x)=0,\quad\mathbf{dom}f=[-\sqrt{2},-1]\:\cup\:[1,\sqrt{2}]
> f(x)=0,\quad\dom f=[-\sqrt{2},-1]\:\cup\:[1,\sqrt{2}]
> $$
>
> 不是凸函数，因为其定义域非凸。当然，此时函数 $\tilde{h}$ 不是非减的。
## 4.2 矢量复合
&emsp;&emsp;下面考虑 $k\geqslant1$ 的情况，此时更复杂一些。设
$$
f(x)=h(g(x))=h(g_1(x),\cdots,g_k(x))
$$
其中 $h: \mathbf{R} ^k\to \mathbf{R}$，$g_i: \mathbf{R} ^n\to \mathbf{R}$。和上一节一样，不失一般性，假设 $n=1$。和 $k=1$ 的情形类似，为了得到复合规则，假设函数二次可微，且 $\dom g=$ $\mathbf{R}$，$\dom h= \mathbf{R} ^{k}$。此时，对函数 $f$ 进行二次微分可得
$$\begin{equation}\label{SecondDerivativeOfVectorCompositionFunction}
f''(x)=g'(x)^{\TT}\nabla^2h(g(x))g'(x)+\nabla h(g(x))^{\TT}g''(x)
\end{equation}
$$
上式可以看成式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 对应的向量形式。同样我们需要判断在什么条件下对所有 $x$ 有 $f(x)^{\prime\prime}\geqslant0$（或者对所有 $x$ 有 $f(x)^\prime\prime\leqslant 0$，此时 $f$ 是凹函数）。利用式 $\eqref{SecondDerivativeOfVectorCompositionFunction}$，我们可以得到很多规则，例如：
$$\begin{aligned}
若\:h\:是凸函数且在每维分量上\:h\:非减，g_i\:是凸函数，则\:f\:是凸函数；\\
若\:h\:是凸函数且在每维分量上\:h\:非增，g_i\:是凹函数，则\:f\:是凸函数；\\
若\:h\:是凹函数且在每维分量上\:h\:非减，g_i\:是凹函数，则\:f\:是凹函数。
\end{aligned}$$
和标量的情形类似，对于更一般的情况：$n>1$，不假设 $h$ 或 $g$ 可微以及一般的定义域类似的复合结论仍然成立。对于一般的结论，不仅 $h$ 需要满足单调性条件，其扩展值延伸 $\tilde{h}$ 同样必须满足。
&emsp;&emsp;为了更好地理解扩展值延伸 $\tilde{h}$ 必须满足单调性条件的含义，我们考虑凸函数 $h:\mathbf{R}^{k}\to\mathbf{R}$，且 $\tilde{h}$ 非减，即对任意 $u\preceq v$，有 $\tilde{h}(u)\leqslant\tilde{h}(v)$。这说明了若 $v\in\dom h$ 则 $u\in\dom h$，也即 $h$ 的定义域在方向 $-\mathbf{R}_+^k$ 上必须无限延伸。这个条件可以紧凑地描述为 $\dom h-\mathbf{R}_{+}^{k}=\dom h$。
> **举例**&emsp;矢量复合的例子。
>
> - 令 $h(z)=z_[1]+\cdots+z_{[r]}$，即对 $z\in\mathbf{R}^k$ 的前 $r$ 大分量进行求和。则 $h$ 是凸函数且在每一维分量上非减。假设 $g_1,\cdots,g_k$ 是 $\mathbf{R}^n$ 上的凸函数，则复合函数 $f=h\circ g$，即最大 $r\uparrow g_i$ 函数的逐点和，是凸函数。
>
> - 函数 $h(z)=\log\left(\displaystyle\sum_{i=1}^k\mathrm{e}^{z_i}\right)$ 是凸函数且在每一维分量上非减，因此只要 $g_i$ 是凸函数，$\log\left(\displaystyle\sum_{i=1}^{k}\mathrm{e}^{g_{i}}\right)$ 就是凸函数。
>
> - 对 $0<p\leqslant 1$，定义在 $\mathbf{R}_+^k$ 上的函数 $h(z)=\left(\displaystyle\sum_{i=1}^kz_i^p\right)^{1/p}$ 是凹的，且其扩展值延伸（当 $z\not\succeq0$ 时为 $-\infty$）在每维分量上非减，则若 $g_i$ 是凹函数且非负，$f(x)=\left(\displaystyle\sum_{i=1}^kg_i(x)^p\right)^{1/p}$ 是凸函数。
>
> - 设 $p\geqslant 1$, $g_{1}, \cdots , g_{k}$ 是凸函数且非负。则函数 $\left(\displaystyle\sum_{i=1}^ng_i(x)^p\right)^{1/p}$
>
> 为了说明这一点，考虑函数 $h:\mathbf{R}^k\to\mathbf{R}$
>
> $$
> h(z)=\left(\sum_{i=1}^{k}\max\{z_{i},0\}^{p}\right)^{1/p}
> $$
>
> 其中 $\dom h=\mathbf{R}^{k}$，因此 $h=\tilde{h}$。由函数 $h$ 是凸函数且非减可知 $h(g(x))$ 关于 $x$ 是凸函数。对 $z\succeq0$，我们有 $h(z)=\left(\displaystyle\sum_{i=1}^kz_i^p\right)^{1/p}$，所以 $\left(\displaystyle\sum_{i=1}^kg_i(x)^p\right)^{1/p}$ 是凸函数。
>
> - 几何平均函数 $h(z)=\left(\displaystyle\prod_{i=1}^kz_i\right)^{1/k}$，定义域为 $\mathbf{R}_+^k$，它是凹函数，且其扩展值延伸在每维分量上非减。因此若 $g_1,\cdots,g_k$ 是非负凹函数，它们的几何平均 $\left(\displaystyle\prod_{i=1}^kg_i\right)^{1/k}$ 也是非负凸函数。
# 5. 最小化
&emsp;&emsp;我们已经得到，任意个凸函数的逐点最大或者上确界仍然是凸函数。事实上，一些特殊形式的最小化同样可以得到凸函数。若函数 $f$ 关于 $(x,y)$ 是凸函数，集合 $C$ 是非空凸集，定义函数
$$\begin{equation}\label{DefinitionOfMinimization}
g(x)=\inf_{y\in C}f(x,y)
\end{equation}
$$
若存在某个 $x$ 使得 $g(x)>-\infty$（该条件隐含着对所有 $x,g(x)>-\infty$），则函数 $g$ 关于 $x$ 是凸函数。函数 $g$ 的定义域是 $\dom f$ 在 $x$ 方向上的投影，即
$$
\dom g=\{x\mid 对某些\:y\in C\:有\: (x,y)\in\dom f\}
$$
&emsp;&emsp;任取 $x_1$, $x_2\in \dom g$，利用 Jensen 不等式来证明上述结论。
> **证明**&emsp;令 $\epsilon>0$，则存在 $y_{1}$, $y_{2}\in C$，使 $f( x_{i}, y_{i}) \leqslant g( x_{i}) + \epsilon ( i= 1$, 2)。设 $\theta\in[0,1]$，有
>
> $$\begin{aligned}
> g(\theta x_{1}+(1-\theta)x_{2})&=\inf_{y\in C}f(\theta x_{1}+(1-\theta)x_{2},y)
> \\
> &\leqslant f(\theta x_1+(1-\theta)x_2,\theta y_1+(1-\theta)y_2)
> \\
> &\leqslant\theta f(x_1,y_1)+(1-\theta)f(x_2,y_2)
> \\
> &\leqslant\theta g(x_1)+(1-\theta)g(x_2)+\epsilon
> \end{aligned}$$
>
> 因为上式对任意$\epsilon>0$均成立，所以下式成立
> $$
> g(\theta x_1+(1-\theta)x_2)\leqslant\theta g(x_1)+(1-\theta)g(x_2)
> $$
&emsp;&emsp;此结论亦可通过上境图来说明。对式 $\eqref{DefinitionOfMinimization}$ 中定义的 $f$，$g$ 和 $C$，设对每个 $x$，在集合 $y\in C$ 上求下确界均可达到，则有
$$
\epi g=\{(x,t)\mid$对某个$y\in C$成立$(x,y,t)\in\epi f\}
$$
由于 $\epi g$是凸集在其中一些分量上的投影，所以它仍然是凸集。
> **举例**&emsp;**Schur 补**。设二次函数
>
> $$
> f(x,y)=x^{\TT}Ax+2x^{\TT}By+y^{\TT}Cy
> $$
>
> （其中$A$和$C$是对称矩阵）关于 $(x,y)$ 是凸函数，即
>
> $$
> \left[\begin{array}{cc}A&B\\B^{\TT}&C\end{array}\right]\succeq0
> $$
>
> 我们可以将$g(x)=\inf_yf(x,y)$表述为
>
> $$
> g(x)=x^{\TT}(A-BC^\dagger B^{\TT})x
> $$
>
> 其中 $C^\dagger$ 是矩阵 $C$ 的伪逆。根据极小化的性质，$g$ 是凸函数，因此 $A-BC^\dagger B^{\TT}\succeq 0$。
>
> 如果矩阵$C$可逆，即$C\succ0$,则矩阵$A-BC^{-1}B^{\TT}$称为$C$在矩阵
>
> $$
> \left[\begin{array}{cc}A&B\\B^{\TT}&C\end{array}\right]
> $$
>
> 中的 Schur 补。
> **举例**&emsp;**到某一集合的距离**。采用范数 $\|\cdot\|$，某点$x$到集合 $S\subseteq\mathbb{R}^n$ 的距离定义为
>
> $$
> \dist (x,S)=\inf_{y\in S}\|x-y\|
> $$
>
> 函数 $\|x-y\|$关于$(x,y)$ 是凸的，所以若集合 $S$ 是凸集，距离函数 $\dist (x,S)$ 是 $x$ 的凸函数。
> **举例**&emsp;设 $h$ 是凸函数。则函数 $g$
>
> $$
> g(x)=\inf\{h(y)\mid Ay=x\}
> $$
>
> 是凸函数。为了说明这一点，定义函数 $f$
>
> $$
> f(x,y)=\left\{\begin{array}{ll}h(y)&\text{如果}Ay=x\\\infty&\text{其他情况,}\end{array}\right.
> $$
>
> 此函数关于$(x,y)$是凸的。以$y$为自变量，极小化函数$f$即可得到函数$g$,因此函数$g$是凸函数。(直接证明$g$是凸函数亦不复杂。)
# 6. 透视函数
&emsp;&emsp;给定函数 $f:\mathbf{R}^n\to\mathbf{R}$，则 $f$ 的透视函数 $g:\mathbf{R}^n+1\to\mathbf{R}$ 定义为
$$
g(x,t)=tf(x/t)
$$
其定义域为
$$
\mathbf{dom}g=\{(x,t)\mid x/t\in\mathbf{dom}f,t>0\}
$$
透视运算是保凸运算：如果函数 $f$ 是凸函数，则其透视函数 $g$ 也是凸函数。类似地，若
$f$ 是凹函数，则 $g$ 亦是凹函数。
&emsp;&emsp;可以从多个角度来证明此结论，例如，我们可以直接验证定义凸性的不等式。这里应用上境图和[透视函数][]一节所描述的 $\mathbf{R}^{n+1}$ 上的透视映射给出一个简短的证明（同时也可以说明“透视”一词的由来）。当 $t>0$ 时，我们有
$$\begin{array}{lll}
(x,t,s)\in\epi g&\iff&tf(x/t)\leqslant s
\\
&\iff&f(x/t)\leqslant s/t
\\
&\iff&(x/t,s/t)\in\epi f
\end{array}$$
因此，$\epi g$是透视映射下 $\epi f$ 的原像，此透视映射将 $(u,v,w)$ 映射为 $(u,w)/v$。根据[透视函数][]一节中的结论，$\epi g$ 是凸集，所以函数 $g$ 是凸函数。
> **举例**&emsp;**Euclid 范数的平方**。$\mathbb{R}^n$ 上的凸函数 $f(x)=x^{\TT}x$ 的透视函数由下式给出
>
> $$
> g(x,t)=t(x/t)^{\TT}(x/t)=\frac{x^{\TT}x}{t}
> $$
>
> 当 $t>0$ 时它关于 $(x,t)$ 是凸函数。
>
> 我们可以利用其他方法导出$g$的凸性。首先，将 $g$ 表示为一系列二次-线性分式函数 $x_i^2/t$ 的和。在[凸函数举例][]部分，我们已经知道，每一项 $x_i^2/t$ 是凸函数，因此和亦为凸函数。另一方面。我们可以将 $g$ 表述为一种特殊的矩阵分式函数 $x^{\TT}(tI)^{-1}x$，由此导出凸性。
> **举例**&emsp;**负对数**。考虑 $\mathbf{R}_{++}$ 上的凸函数 $f(x)=-\log x$，其透视函数为
>
> $$
> g(x,t)=-t\log(x/t)=t\log(t/x)=t\log t-t\log x
> $$
>
> 在 $\mathbf{R}_{++}^{2}$ 上它是凸函数。函数 $g$ 称为关于 $t$ 和 $x$ 的**相对熵**（*relative entropy*）。当 $x=1$ 时，$g$ 即为负熵函数。
>
> 基于函数 $g$ 的凸性，我们可以得出一些有趣的相关函数的凸性或凹性。首先，定义两个向量 $u, v\in \mathbf{R} _{+ + }^{n}$ 的相对熵
>
> $$
> \sum_{i=1}^nu_i\log(u_i/v_i)
> $$
>
> 由于它是一系列 $u_i,v_i$ 的相对熵的和，因此关于 $(u,v)$ 是凸函数。
>
> 另一个密切相关的函数是向量 $u,v\in\mathbf{R}_{++}^{n}$ 之间的 **Kullback-Leibler 散度**（Kullback-Leibler divergence），其形式为
>
> $$\begin{equation}\label{KLDivergence}
> D_{\mathrm{kl}}(u,v)=\sum_{i=1}^{n}\left(u_{i}\log(u_{i}/v_{i})-u_{i}+v_{i}\right)
> \end{equation}
> $$
>
> 因为它是 $(u,v)$ 的相对熵和线性函数的和，所以它也是凸函数。Kullback-Leibler 散度总是满足 $D_{\mathrm{kl}}(u,v)\geqslant0$，当且仅当 $u=v$ 时，$D_\mathrm{kl}(u,v)=0$，因此 Kullback-Leibler 散度可以用来衡量两个正向量之间的偏差。（注意到当 $u$ 和 $v$ 都是概率向量，即 $\mathbf{1}^{\TT}u=\mathbf{1}^{\TT}v=1$ 时，相对熵和 Kullback-Leibler 散度是等价的。）
>
> 如果在相对熵函数中选择 $v_i=\mathbf{1}^{\TT}u$，我们可以得到定义在 $u\in\mathbb{R}_+^n$ 上的凹函数（也是齐次函数）
>
> $$
> \sum_{i=1}^{n}u_{i}\log(\mathbf{1}^{\TT}u/u_{i})=(\mathbf{1}^{\TT}u)\sum_{i=1}^{n}z_{i}\log(1/z_{i})
> $$
>
> 其中 $z=u/(\mathbf{1}^{\TT}u)$。此函数称为**归一化熵**（*normalized entropy*）函数。向量 $z=u/\mathbf{1}^{\TT}u$ 的分量和为 1，称为归一化向量或者概率分布；$u$ 的归一化熵是 $\mathbf{1}^{\TT}u$和归一化概率分布 $z$ 的熵的乘积。
> **举例**&emsp;设 $f:\mathbf{R}^m\to\mathbf{R}$ 是凸函数，$A\in\mathbf{R}^m\times n,b\in\mathbf{R}^m,c\in\mathbf{R}^n,d\in\mathbf{R}$。定义
>
> $$
> g(x)=(c^Tx+d)f\left((Ax+b)/(c^Tx+d)\right)
> $$
>
> 其定义域为
>
> $$
> \mathbf{dom}g=\{x\mid c^Tx+d>0,(Ax+b)/(c^Tx+d)\in\mathbf{dom}f\}
> $$
>
> 则$g$是凸函数。
# 参考文献
1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.
2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013.
[透视函数]: https://josh-gao.top/posts/a4a69a4f.html#%E9%80%8F%E8%A7%86%E5%87%BD%E6%95%B0
[凸函数举例]: https://josh-gao.top/posts/320f661c.html#%E4%BE%8B%E5%AD%90