josh/josh-blog-source
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

update posts

Browse Source
This commit is contained in:
josh
2024-07-07 17:12:20 +08:00
parent c8252851cb
commit c666cf18aa
4 changed files with 328 additions and 37 deletions
Download Patch File Download Diff File Expand all files Collapse all files
package.json
+1 -1
View File
@@ -9,7 +9,7 @@
"server": "hexo server"
},
"hexo": {
"version": "7.2.0"
"version": "7.3.0"
},
"dependencies": {
"@next-theme/plugins": "^8.20.0",
source/_posts/2024-06-14-josh-cvx-2-1.md
+43 -26
View File
@@ -50,28 +50,40 @@ $$\begin{equation}\label{DefinitionOfConvexFunction}
  函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它让我们可以通过将函数限制在直线上来判断其是否是凸函数。
{% note info %}
{% note info 注解 %}
这里可能是由于翻译问题导致不是很好理解，我们先看原文：
> A function is convex if and only if it is convex when restricted to any line that
intersects its domain. In other words f is convex if and only if for all $x\in\mathbf{dom}\, f$ and all $v$, the function $g(t) = f(x + tv)$ is convex (on its domain, $\{t\mid x+tv\in\mathbf{dom}\, f\}$). This property is very useful, since it allows us to check whether a function is convex by restricting it to a line.
intersects its domain. In other words $f$ is convex if and only if for all $x\in\mathbf{dom}\, f$ and all $v$, the function $g(t) = f(x + tv)$ is convex (on its domain, $\{t\mid x+tv\in\mathbf{dom}\, f\}$). This property is very useful, since it allows us to check whether a function is convex by restricting it to a line.
仍然不是很好理解。因此这里如下解释：
仍然不是很好理解。因此询问 ChatGPT 得到如下解释：
- 限制在直线上：考虑一个函数 $f$ 和其定义域内的任意一点 $x$。再选择一个任意方向向量 $v$。我们沿着这个方向 $v$ 从点 $x$ 出发，得到一条直线。任何点 $x+tv$（其中 $t$ 是一个实数）都在这条直线上。这就叫做将函数限制在直线上。
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线$x+tv$上的值。
- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线 $x+tv$ 上的值。
- 检查凸性：如果对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，那么我们就说原函数 $f$ 是凸的。也就是说，如果 $f$ 在所有限制的直线上都是凸的，那么 $f$ 本身就是凸的。
通过限制在直线上，我们将原来的多变量问题简化为单变量问题。对于单变量函数，判断凸性要比多变量情况简单得多。这使得我们可以用更简单的方法来判断一个函数是否是凸的。
> **举例** 假设我们有一个二次函数 $f(x)=x_1^2+x_2^2$。我们选一个点 $x=(a,b)$ 和一个方向 $v=(c,d)$，沿着这个方向得到直线 $(a,b)+t(c,d)$，然后我们可以定义一个新函数：
>
> $$
> g(t)=f((a,b)+t(c,d))=f(a+tc,b+td)=(a+tc)^2+(b+td)^2
> $$
>
> 我们需要检查这个新函数 $g(t)$ 是否是凸的。如果对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，那么原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
总的来说，"将函数限制在直线上"意味着通过沿着任意方向取直线来简化判断多变量函数的凸性，从而可以更方便地确定函数的整体凸性。
{% endnote %}
  对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。
# 2. 扩展值延伸
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$如下
  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
$$
\tilde{f}(x)=\begin{cases}
f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f
@@ -80,18 +92,18 @@ $$
延伸函数 $\tilde{f}$ 是定义在全空间 $\mathbf{R}^n$ 上的，取值集合为 $\mathbf{R}\cup\{\infty\}$。我们也可以从延伸函数 $\tilde{f}$ 的定义中确定原函数 $f$ 的定义域，即 $\dom f=\{x\mid\tilde{f}(x)<\infty\}$。
&emsp;&emsp;这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$，可以描述为：对于**任意**（*any*） $x$ 和 $y$，以及 $0<\theta<1$，有
&emsp;&emsp;这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$，可以描述为：对于**任意**（*any*）$x$ 和 $y$，以及 $0<\theta<1$，有
$$
\tilde{f}(\theta x+(1-\theta)y)\leqslant\theta\tilde{f}(x)+(1-\theta)\tilde{f}(y)
$$
（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。
（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时应当利用扩展运算和扩展序来理解这个不等式。
- 若 $x$ 和 $y$ 都在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
- 如果有任何一个在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
- 若 $x$ 和 $y$ 在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
- 若 $x$ 或 $y$ 在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
&emsp;&emsp;再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
> **举例**&emsp;设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
&emsp;&emsp;在不会造成歧义的情况下，可以用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。
@@ -103,7 +115,7 @@ $$
>
> 凸函数 $\tilde{I}_C$ 被称作集合 $C$ 的**示性函数**（*indicator function*）。
>
> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$（假设其定义在整个 $\mathbf{R}^n$ 空间）的问题，我们可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，函数 $f+\tilde{I}_C$（按照我们的约定）等价于定义在集合 $C$ 上的函数 $f$。
> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$ 的问题（假设 $f$ 定义在整个 $\mathbf{R}^n$ 空间），可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，按照不会造成歧义的约定，函数 $f+\tilde{I}_C$ 等价于定义在集合 $C$ 上的函数 $f$。
&emsp;&emsp;类似地，可以通过定义凹函数在定义域外都为 $-\infty$ 对其进行延伸。
@@ -115,7 +127,7 @@ $$\begin{equation}\label{FirstOrderCondition}
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
\end{equation}$$
[图 2](#图2) 描述了上述不等式。
[图 2](#图2) 描述了上述不等式，也即沿函数上任意一点作切线，函数始终位于切线上方。
<a id="图2"></a>
@@ -147,7 +159,7 @@ $$\begin{equation}\label{FirstOrderConditionWhenNEquals1}
f(y)\geqslant f(x)+f'(x)(y-x)
\end{equation}$$
&emsp;&emsp;首先假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
&emsp;&emsp;首先证明必要性。假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
$$
f(x+t(y-x))\leqslant(1-t)f(x)+tf(y)
@@ -193,7 +205,7 @@ $$
# 4 二阶条件
&emsp;&emsp;现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 Hessian 矩阵或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
&emsp;&emsp;现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 **Hessian 矩阵**或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
$$
\nabla^2f(x)\succeq0
@@ -217,7 +229,11 @@ $$
# 5. 例子
&emsp;&emsp;前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
&emsp;&emsp;前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。
## $\mathbf{R}$ 上的例子
&emsp;&emsp;首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
- **指数函数**（*Exponential*）。对任意 $a\in\mathbf{R}$，函数 $e^{ax}$ 在 $\mathbf{R}$ 上是凸的。
- **幂函数**（*Power*）。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数；当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。
@@ -233,7 +249,9 @@ $$
即对于 $x>0$，有 $f''(x)>0$。所以负熵函数是（严格）凸的。
下面给出 $\mathbf{R}^n$ 上的一些例子。
## $\mathbf{R}^n$ 上的例子
&emsp;&emsp;下面给出 $\mathbf{R}^n$ 上的一些例子。
**范数**（*Norm*）。 $\mathbf{R}^n$ 上的任意范数均为凸函数。
@@ -374,8 +392,7 @@ $$
> \{x\in\mathbf{R}_{+}^{n}\mid G(x)\geqslant\alpha A(x)\}
> $$
>
> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数
$G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数 $G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
# 7. 上境图
@@ -385,13 +402,13 @@ $$
\{(x,f(x))\mid x\in\dom f\}
$$
它是 $\mathbf{R}^{n+1}$ 空间的一个子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
它是 $\mathbf{R}^{n+1}$ 空间的子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
$$
\epi f=\{(x,t)\mid x\in\dom f,f(x)\leqslant t\}
$$
它也是 $\mathbf{R}^{n+1}$ 空间的一个子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
它也是 $\mathbf{R}^{n+1}$ 空间的子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
<a id="图5"></a>
@@ -434,13 +451,13 @@ $$
>
> （函数图像如[图 3](#图3) 所示）。
&emsp;&emsp;关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），作为一个例子，考虑凸函数的一阶条件
&emsp;&emsp;关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），例如，考虑凸函数的一阶条件
$$
f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
$$
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\mathbf{epi}f$，有
其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\epi f$，有
$$
t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
@@ -452,7 +469,7 @@ $$
(y,t)\in\epi f\implies\left[\begin{array}{c}\nabla f(x)\\-1\end{array}\right]^\TT \left(\left[\begin{array}{c}y\\t\end{array}\right]-\left[\begin{array}{c}x\\f(x)\end{array}\right]\right)\leqslant0
$$
这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$；如[图 6](#图6) 所示。
这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$，如[图 6](#图6) 所示。
<a id="图6"></a>
@@ -481,10 +498,10 @@ $$
扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
$$\begin{equation}\label{GeneralJensenInequality}
f(\mathbf{E}x)\leqslant\mathbf{E}f(x)
f(\mathbb{E}x)\leqslant\mathbb{E}f(x)
\end{equation}$$
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbf{E}x)>\mathbf{E}f(x)$。
设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
&emsp;&emsp;上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单
@@ -495,7 +512,7 @@ $$
> **注释**&emsp;我们可以这样理解式 $\eqref{GeneralJensenInequality}$。假设 $x\in\dom f\subseteq\mathbf{R}^n$，$z$ 是 $\mathbf{R}^n$ 中的随机变量，其均值为零，则有
>
> $$
> \mathbf{E}f(x+z)\geqslant f(x)
> \mathbb{E}f(x+z)\geqslant f(x)
> $$
>
> 因此，随机化或者扰动（即在自变量上增加一个零均值的随机变量）从平均效果上不会减小凸函数的值。
source/_posts/2024-07-03-josh-cvx-2-2.md
+284 -10
View File
@@ -1,5 +1,5 @@
---
title: Josh's Note — 凸优化<br>Part 2.1 凸函数—保凸运算
title: Josh's Note — 凸优化<br>Part 2.2 凸函数—保凸运算
mathjax: true
comments: true
copyright: true
@@ -18,19 +18,22 @@ categories:
tags:
- 凸优化
- 凸函数
- 保凸运算
abbrlink: c3476904
date: 2024-07-03 23:04:33
---
$
\newcommand{\dd}{\mathrm{d}}
\newcommand{\TT}{\mathrm{T}}
\def\diag{\mathop{\bf diag}}
\def\dom{\mathop{\bf dom}}
\def\epi{\mathop{\bf epi}}
$&emsp;&emsp;本文讨论几种保持函数凸性或者凹性的运算，这样可以构造新的凸函数或者凹函数。首先从一些简单的运算开始，如求和、伸缩以及逐点上确界，之后再介绍一些更为复杂的运算（其中一些运算的特例即为简单运算）。
# 1. 非负加权求和
&emsp;&emsp;显然，如果函数 $f$ 是凸函数且 $\alpha\geqslant0$，则函数 $\alpha f$ 也为凸函数。如果函数 $f_1$ 和 $f_2$ 都是凸函数，则它们的和 $f_1+f_2$ 也是凸函数。将非负伸缩以及求和运算结合起来，可以看出，凸函数的集合本身是一个凸锥：凸函数的非负加权求和仍然是凸函数，即函数
&emsp;&emsp;显然，如果函数 $f$ 是凸函数且 $\alpha\geqslant0$，则函数 $\alpha f$ 也是凸函数。如果函数 $f_1$ 和 $f_2$ 都是凸函数，则它们的和 $f_1+f_2$ 也是凸函数。将非负伸缩以及求和运算结合起来，可以看出，凸函数的集合本身是一个凸锥：凸函数的非负加权求和仍然是凸函数，即函数
$$
f=w_1f_1+\cdots+w_mf_m
@@ -38,17 +41,17 @@ $$
是凸函数。类似地，凹函数的非负加权求和仍然是凹函数。严格凸（凹）函数的非负，非零加权求和是严格凸（凹）函数。
&emsp;&emsp;这个性质可以扩展至无限项的求和以及积分的情形。例如，如果固定任意 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 是凸函数，且对任意 $y\in\mathcal{A}$,有$w(y)\geqslant0$，则函数 $g$
&emsp;&emsp;这个性质可以扩展至无限项的求和以及积分的情形。例如，如果对于每一个 $y\in\mathcal{A}$，函数 $f(x,y)$ 是关于 $x$ 的凸函数，且有 $w(y)\geqslant 0$，则函数
$$
g(x)=\int_{\mathcal{A}}w(y)f(x,y)\dd y
$$
关于$x$是凸函数（若此积分存在）。
关于 $x$ 是凸函数（若此积分存在）。
<!-- more -->
&emsp;&emsp;我们可以很容易直接验证非负伸缩以及求和运算是保凸运算，或者可以根据相关的上境图得到此结论。例如，如果 $w\geqslant0$ 且 $f$ 是凸函数，有
&emsp;&emsp;可以很容易直接验证非负伸缩以及求和运算是保凸运算，或者可以根据相关的上境图得到此结论。例如，如果 $w\geqslant 0$ 且 $f$ 是凸函数，则有
$$
\epi (wf)=\left[\begin{array}{cc}
@@ -57,27 +60,27 @@ I&0\\
\end{array}\right]\epi f
$$
因为凸集通过线性变换得到的像仍然是凸集，所以 $\epi(wf)$是凸集。
因为凸集通过线性变换得到的像仍然是凸集，所以 $\epi(wf)$ 是凸集。
# 2. 复合仿射映射
&emsp;&emsp;假设函数 $f:\mathbf{R}^n\to\mathbf{R}$，$A\in\mathbf{R}^{n\times m}$，以及 $b\in\mathbf{R}^n$，定义 $g:\mathbf{R}^m\to\mathbf{R}$ 为
&emsp;&emsp;假设函数 $f:\mathbf{R}^n\to\mathbf{R}$，$A\in\mathbf{R}^{n\times m}$，$b\in\mathbf{R}^n$，定义 $g:\mathbf{R}^m\to\mathbf{R}$ 为
$$
g(x)=f(Ax+b)
$$
其中$\dom g=\{x\mid Ax+b\in\dom f\}$。若函数 $f$ 是凸函数，则函数 $g$ 是凸函数；如果函数 $f$ 是凹函数，那么函数 $g$ 是凹函数。
其中 $\dom g=\{x\mid Ax+b\in\dom f\}$。若函数 $f$ 是凸函数，则函数 $g$ 是凸函数；若函数 $f$ 是凹函数，则函数 $g$ 是凹函数。
# 3. 逐点最大和逐点上确界
&emsp;&emsp;如果函数 $f_{1}$ 和 $f_{2}$ 均为凸函数，则二者的逐点最大函数 $f$
&emsp;&emsp;如果函数 $f_{1}$ 和 $f_{2}$ 均为凸函数，则二者的**逐点最大**（*pointwise maximum*）函数
$$
f(x)=\max\{f_1(x),f_2(x)\}
$$
其定义域为$\dom f=\dom f_1\cap\dom f_2$，仍然是凸函数。这个性质可以很容易验证：任取 $0\leqslant \theta \leqslant 1$ 以及 $x,y\in\dom f$，有
其定义域为 $\dom f=\dom f_1\cap\dom f_2$，仍然是凸函数。这个性质很容易验证：任取 $0\leqslant \theta \leqslant 1$ 以及 $x,y\in\dom f$，有
$$\begin{aligned}
f(\theta x+(1-\theta)y)&=\max\{f_1(\theta x+(1-\theta)y),f_2(\theta x+(1-\theta)y)\}
@@ -96,3 +99,274 @@ f(x)=\max\{f_1(x),\cdots,f_m(x)\}
$$
仍然是凸函数。
> **举例**&emsp;**分片线性函数**（*Piecewise-linear functions*）。函数
>
> $$
> f(x)=\max\left\{a_1^\TT x+b_1,\cdots,a_L^\TT x+b_L\right\}
> $$
>
> 定义了一个（具有 $L$ 个或者更少的子区域）分片线性函数（实际上是仿射函数）。因为它是一系列仿射函数的逐点最大函数，所以它是凸函数。反之亦成立：任意具有 $L$ 个或者更少子区域的分片线性凸函数都可以表述成上述形式。
> **举例**&emsp;**最大 $r$ 个分量之和**。对于任意 $x\in\mathbf{R}^n$，用 $x_{[i]}$ 表示 $x$ 中第 $i$ 大的分量，即将 $x$ 的分量按照非升序进行排列得到下式
>
> $$
> x_{[1]}\geqslant x_{[2]}\geqslant\cdots\geqslant x_{[n]}
> $$
>
> 则对 $x$ 的最大 $r$ 个分量进行求和所得到的函数
>
> $$
> f(x)=\sum_{i=1}^rx_{[i]}
> $$
>
> 是凸函数。事实上，此函数可以表述为
>
> $$
> f(x)=\sum_{i=1}^rx_{[i]}=\max\{x_{i_1}+\cdots+x_{i_r}\mid1\leqslant i_1<i_2<\cdots<i_r\leqslant n\}
> $$
>
> 即从 $x$ 的分量中选取 $r$ 个不同分量进行求和的所有可能组合的最大值。因为函数 $f$ 是 $\displaystyle\frac{n!}{r!(n-r)!}$ 个线性函数的逐点最大，所以是凸函数。
>
> 作为一个扩展，可以证明当 $w_1\geqslant w_2\geqslant\cdots\geqslant w_r\geqslant 0$ 时，函数 $\displaystyle\sum_{i=1}^rw_ix_{[i]}$ 是凸函数。
&emsp;&emsp;逐点最大的性质可以扩展至无限个凸函数的逐点上确界。如果对于任意 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸的，则函数
$$\begin{equation}\label{PointwiseMaximum}
g(x)=\sup_{y\in\mathcal{A}}f(x,y)
\end{equation}$$
关于 $x$ 亦是凸的。此时，函数 $g$ 的定义域为
$$
\dom g=\{x\mid(x,y)\in\dom f\:\forall y\in\mathcal{A},\sup_{y\in\mathcal{A}}f(x,y)<\infty\}
$$
类似地，一系列凹函数的逐点下确界仍然是凹函数。
&emsp;&emsp;从上境图的角度理解，一系列函数的逐点上确界函数对应着这些函数上境图的交集：对于函数 $f$，$g$ 以及式 $\eqref{PointwiseMaximum}$ 定义的 $\mathcal{A}$，有
$$
\epi g=\bigcap_{y\in\mathcal{A}}\epi f(\:\cdot\:,y)
$$
因此，函数 $g$ 的凸性可由一系列凸集的交集仍然是凸集得到。
> **举例**&emsp;**集合的支撑函数**。令集合 $C\subseteq\mathbf{R}^n$，且 $C\neq\emptyset$，定义集合 $C$ 的**支撑函数**（*support function*）$S_C$ 为
>
> $$
> S_C(x)=\sup\{x^\TT y\mid y\in C\}
> $$
>
> （自然地，函数 $S_C$ 的定义域为 $\dom S_{C}=\left\{x\mid\sup_{y\in C}x^\TT y<\infty\right\}$）。
>
> 对于任意 $y\in C$，$x^\TT y$ 是 $x$ 的线性函数，所以 $S_{C}$ 是一系列线性函数的逐点上确界函数，因此是凸函数。
> **举例**&emsp;**到集合中最远点的距离**。令集合 $C\subseteq\mathbf{R}^n$，定义点 $x$ 与集合中最远点的距离（范数）为
>
> $$
> f(x)=\sup_{y\in C}\|x-y\|
> $$
>
> 此函数是凸函数。为了说明这一点，我们注意到，对于任意 $y$，函数 $\|x-y\|$ 关于 $x$ 是凸函数。因为函数 $f$ 是一族凸函数（对应不同的 $y\in C$）的逐点上确界，所以是凸函数。
> **举例**&emsp;**以权为变量的最小二乘代价函数**。令 $a_1,\cdots,a_n\in\mathbf{R}^m$，在加权最小二乘问题中我们对所有的 $x\in\mathbf{R}^m$ 极小化目标函数 $\displaystyle\sum_{i=1}^nw_i(a_i^\TT x-b_i)^2$。我们称 $w_i$ 为**权**（*weight*），并允许 $w_i$ 为负（则目标函数有可能无下界）。
>
> 定义（最优）**加权最小二乘代价**（*weighted least-squares cost*）函数为
>
> $$
> g(w)=\inf_{x}\sum_{i=1}^{n}w_{i}(a_{i}^{\TT}x-b_{i})^{2}
> $$
>
> 其定义域为
>
> $$\dom g=\left\{w\,\middle|\,\inf_{x}\sum_{i=1}^{n}w_{i}(a_{i}^{\TT}x-b_{i})^{2}>-\infty\right\}$$
>
> 因为函数 $g$ 是一族关于 $w$ 的线性函数的下确界（对应于不同的 $x\in\mathbf{R}^m$），它是 $w$ 的凹函数。
>
> 至少在部分定义域上，我们可以得到函数 $g$ 的一个显式表达式。令 $W=\diag(w)$ 是一对角阵，其对角线元素为 $w_1,\cdots,w_n$，令 $A\in\mathbf{R}^{n\times m}$，其行向量为 $a_i^\TT$，有
>
> $$
> g(w)=\inf_{x}(Ax-b)^{\TT}W(Ax-b)=\inf_{x}(x^{\TT}A^{\TT}WAx-2b^{\TT}WAx+b^{\TT}Wb)
> $$
>
> 从上式可以看出，若 $A^TWA\not\succeq0$，括号里的二次函数关于 $x$ 无下界，故 $g(w)=-\infty$，即 $w\not\in\dom g$。当 $A^\TT WA\succ0$ 时（即定义了一个严格的线性矩阵不等式），通过解析求解二次函数的极小值，可以得到函数 $g$ 的一个简单的表达式
>
> $$\begin{aligned}
> g(w)&=b^{\TT}Wb-b^{\TT}WA(A^{\TT}WA)^{-1}A^{\TT}Wb
> \\
> &=\sum_{i=1}^{n}w_{i}b_{i}^{2}-\sum_{i=1}^{n}w_{i}^{2}b_{i}^{2}a_{i}^{\TT}\left(\sum_{j=1}^{n}w_{j}a_{j}a_{j}^{\TT}\right)^{-1}a_{i}
> \end{aligned}$$
>
> 从上述表达式并不能立即得到函数 $g$ 的凹性（不过可以从矩阵分式函数的凸性来推导函数 $g$ 的凹性）。
> **举例**&emsp;**对称矩阵的最大特征值**。 定义函数 $f(X)=\lambda_{\max}(X)$，其定义域为 $\dom f=\mathbf{S}^m$，它是凸函数。为了说明这一点，我们将 $f$ 表述为
>
> $$
> f(X)=\sup\{y^\TT Xy\mid\|y\|_2=1\}
> $$
>
> 即针对不同的 $y\in\mathbf{R}^m$ 关于 $X$ 的一族线性函数（即$y^\TT Xy$）的逐点上确界。
> **举例**&emsp;**矩阵范数**。考虑函数 $f(X)=\|X\|_2$，其定义域为 $\dom f=\mathbf{R}^{p\times q}$，其中 $\|\cdot\|_2$ 表示谱范数或者最大奇异值。函数 $f$ 可以表述为
>
> $$
> f(X)=\sup\{u^{\TT}Xv\mid\|u\|_{2}=1,\|v\|_{2}=1\}
> $$
>
> 由于它是 $X$ 的一族线性函数的逐点上确界，所以是凸函数。
>
> 作为一个推广，假设 $\|\cdot\|_a$和$\|\cdot\|_b$ 分别是 $\mathbf{R}^p$ 和 $\mathbf{R}^q$ 上的范数，定义矩阵 $X\in\mathbf{R}^{p\times q}$ 的诱导范数为
>
> $$
> \|X\|_{a,b}=\sup_{v\neq0}\frac{\|Xv\|_{a}}{\|v\|_{b}}
> $$
## 3.1 表示成一族仿射函数的逐点上确界
&emsp;&emsp;上述例子描述了一个建立函数凸性的好方法：将函数表示为一族仿射函数的逐点上确界。除了一个技术条件，反过来也是成立的：几乎所有的凸函数都可以表示成一族仿射函数的逐点上确界。例如，如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸函数，其定义域为 $\dom f=\mathbf{R}^n$，我们有
$$
f(x)=\sup\{g(x)\mid g\:\text{仿射},\:g(z)\leqslant f(z)\:\forall z\}
$$
换言之，函数 $f$ 是它所有的仿射全局下估计的逐点上确界。下面我们将证明这个结论。
&emsp;&emsp;设函数 $f$ 是凸函数，定义域为 $\dom f=\mathbf{R}^{n}$ ，显然下面的不等式成立
$$
f ( x ) \geqslant \sup \{g ( x ) \mid g\:\text{仿射}, \ g ( z ) \leqslant f ( z ) \ \forall z \},
$$
因为函数 $g$ 是函数 $f$ 的任意仿射下估计，我们有 $g ( x ) \leqslant f ( x )$。为了建立等式，我们说明，对于任意 $x \in\mathbf{R}^{n}$，存在仿射函数 $g$ 是函数 $f$ 的全局下估计，并且满足 $g ( x )=f ( x )$。
&emsp;&emsp;毫无疑问，函数 $f$ 的上境图是凸集，因此我们在点 $( x, f ( x ) )$ 处可以找到此凸集的支撑超平面，即存在 $a \in\mathbf{R}^{n}$，$\; b \in\mathbf{R}$ 且 $( a, b ) \neq0$，使得对任意 $( z, t ) \in\epi f$，有
$$
\left[ \begin{array} {c} a \\ b \\ \end{array} \right]^{\TT} \left[ \begin{array} {c} {x-z} \\ {f ( x )-t} \\ \end{array} \right] \leqslant0.
$$
即对任意 $z\in\dom f=\mathbf{R}^n$ 以及所有 $s\geqslant0$（$(z,t)\in\mathbf{epi}f$ 等价于存在 $s\geqslant0$ 使得 $t=f(z)+s$），下式成立
$$\begin{equation}\label{ProofOfAffineFunctionRepresentation}
a^\TT(x-z)+b(f(x)-f(z)-s)\leqslant0
\end{equation}
$$
为了保证不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 对所有的 $s\geqslant0$ 均成立，必须有 $b\geqslant0$。如果 $b=0$，对所有的$z\in\mathbf{R}^n$，不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以简化为 $a^\TT(x-z)\leqslant0$，这意味着 $a=0$，于是和假设 $(a,b)\neq0$ 矛盾。因此 $b>0$，即支撑超平面不是竖直的。
&emsp;&emsp;我们知道 $b>0$，因此，对任意 $z$，令 $s=0$，式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以重新表述为
$$
g(z)=f(x)+(a/b)^{T}(x-z)\leqslant f(z)
$$
由此说明函数 $g$ 是函数 $f$ 的一个仿射下估计，并且满足 $g(x)=f(x)$。
# 4. 复合
&emsp;&emsp;本节给定函数 $h:\mathbf{R}^k\to\mathbf{R}$ 以及 $g:\mathbf{R}^n\to\mathbf{R}^k$，定义复合函数 $f=h\circ g:\mathbf{R}^n\to\mathbf{R}$
为
$$
f(x)=h(g(x)),\quad\dom f=\{x\in\dom g\mid g(x)\in\dom h\}
$$
我们考虑当函数 $f$ 保凸或者保凹时，函数 $h$ 和 $g$ 必须满足的条件。
## 4.1 标量复合
&emsp;&emsp;首先考虑 $k=1$ 的情况，即 $h:\mathbf{R}\to\mathbf{R}$，$g:\mathbf{R}^n\to\mathbf{R}$。仅考虑 $n=1$ 的情况（事实上，将函数限定在与其定义域相交的任意直线上得到的函数决定了原函数的凸性）。
&emsp;&emsp;为了找出复合规律，首先假设函数 $h$ 和 $g$ 是二次可微的，且 $\dom g= \dom h= \mathbf{R}$。在上述假设下，函数 $f$ 是凸的等价于 $f^{\prime\prime}\geqslant 0$（即对所有的 $x\in\mathbf{R}$，$f^{\prime\prime}(x)\geqslant 0$）。
&emsp;&emsp;复合函数$f=h\circ g$的二阶导数为
$$\begin{equation}\label{SecondDerivativeOfCompositionFunction}
f''(x)=h''(g(x))g'(x)^2+h'(g(x))g''(x)
\end{equation}$$
假设函数 $g$ 是凸函数（$g^{\prime\prime}\geqslant 0$），函数 $h$ 是凸函数且非减（即$h^{\prime\prime}\geqslant0$ 且 $h^{\prime}\geqslant0$），从式 $\eqref{SecondDerivativeOfCompositionFunction}$ 可以得出 $f^{\prime\prime}\geqslant 0$，即函数 $f$ 是凸函数。类似地，由式 $\eqref{SecondDerivativeOfCompositionFunction}$ 可以得出如下结论
$$\begin{equation}\label{Conclusion1}\begin{aligned}
如果\,h\,是凸函数且非减，g\,是凸函数，则\,f\,是凸函数，\\
如果\,h\,是凸函数且非增，g\,是凹函数，则\,f\,是凸函数，\\
如果\,h\,是凹函数且非减，g\,是凹函数，则\,f\,是凹函数，\\
如果\,h\,是凹函数且非增，g\,是凸函数，则\,f\,是凹函数。
\end{aligned}\end{equation}$$
上述结论在函数 $g$ 和 $h$ 二次可微且定义域均为 $\mathbf{R}$ 时成立。事实上，对于更一般的情况，如 $n>1$，不再假设函数 $h$ 和 $g$ 可微或者 $\dom g=\mathbf{R}^n$，$\dom h=\mathbf{R}$，一些相似的复合规则仍然成立
$$\begin{equation}\label{Conclusion2}\begin{aligned}
如果\,h\,是凸函数且\,\tilde{h}\,非减，\,g\,是凸函数，则\,f\,是凸函数，\\
如果\,h\,是凸函数且\,\tilde{h}\,非增，\,g\,是凹函数，则\,f\,是凸函数，\\
如果\,h\,是凹函数且\,\tilde{h}\,非减，\,g\,是凹函数，则\,f\,是凹函数，\\
如果\,h\,是凹函数且\,\tilde{h}\,非增，\,g\,是凸函数，则\,f\,是凹函数。
\end{aligned}\end{equation}$$
其中，$\tilde{h}$ 表示函数 $h$ 的扩展值延伸，若点不在 $\dom h$内，对其赋值 $\infty$（若 $h$ 是凸函数）或者$-\infty$（若 $h$ 是凹函数）。这些结论和式 $\eqref{Conclusion1}$ 中的结论的唯一不同是我们要求**扩展值延伸**（*extended-value extension*）$\tilde{h}$ 在整个 $\mathbf{R}$ 上非增或者非减。
&emsp;&emsp;为了更好地理解式 $\eqref{Conclusion2}$ 中的结论，假设 $h$ 是凸函数，所以 $\tilde{h}$ 在定义域 $\dom h$ 外取值为$\infty$。$\tilde{h}$ 非减意味着对于任意 $x,y\in\mathbf{R}$，$x<y$，有 $\tilde{h}(x)\leqslant\tilde{h}(y)$。特别地，若 $y\in\dom h$，则$x\in\dom h$。换言之，我们可以认为 $h$ 的定义域在负方向上无限延伸。它或者是 $\mathbf{R} 或者是形如 $(-\infty,a)$ 或 $\left(-\infty,a\right]$ 的区间。类似地，若 $h$ 是凸函数且 $\tilde{h}$ 非增，我们可以理解为 $h$ 是非增的且 $\dom h$在正方向上趋于无穷。[图 7](#图7) 描述了不同的扩展值延伸的情况。
<a id="图7"></a>
![图 7. **左**：函数 $x^2$，其定义域为 $\mathbf{R}_+$，在其定义域内是凸且非减的，但是其扩展值延伸不是非减的。**右**：函数 $\max\{x,0\}^2$，其定义域为 $\mathbf{R}$，函数是凸函数，且其扩展值延伸是非减的。](../images/post/2024-07-03-josh-cvx-2-2/2024-07-03-josh-cvx-2-2-070-ExtendedValueExtension.png){width=700px}
> **举例**&emsp;通过一些简单例子，我们可以更好地理解复合定理中函数 $h$ 需要满足的条件。
>
> - 函数 $h(x)=\log x$，定义域为 $\dom h=\mathbf{R}_{++}$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^1/2$，定义域为 $\dom h=\mathbf{R}_+$，为凹函数且 $\tilde{h}$ 非减。
> - 函数 $h(x)=x^{3/2}$，定义域为 $\dom h=\mathbf{R}_+$，为凸函数，但是不满足 $\tilde{h}$ 非减的条件。例如，$\tilde{\tilde{h}}(-1)=\infty$ 但 $\tilde{h}(1)=1$。
> - 当 $x\geqslant 0$ 时，$h(x)=x^3/2$，当 $x<0$ 时 $h(x)=0$，定义域为 $\dom h=\mathbf{R}$，$h$ 是凸函数且满足 $\tilde{h}$ 非减的条件。
&emsp;&emsp;即使不假设可微并运用表达式 $\eqref{SecondDerivativeOfCompositionFunction}$，也可以直接证明复合函数结论式 $\eqref{Conclusion2}$。作为一个例子，我们证明如下结论：如果 $g$ 是凸函数，$h$ 是凸函数且 $\tilde{h}$ 非减，则 $f=h\circ g$ 是凸函数。假设 $x,y\in\dom f$，$0\leqslant\theta\leqslant1$。由 $x,y\in\dom f$，有 $x,y\in\dom g$ 且 $g( x)$, $g( y) \in \dom h$。因为 $\dom g$ 是凸集，有 $\theta x+(1-\theta)y\in\dom g$，由函数 $g$ 的凸性可得
$$\begin{equation}\label{ConvexityOfFunctionG}
g(\theta x+(1-\theta)y)\leqslant\theta g(x)+(1-\theta)g(y)
\end{equation}
$$
由 $g(x),g(y)\in\dom h$ 可得 $\theta g(x)+(1-\theta)g(y)\in\dom h$，即式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内。根据假设 $\tilde{h}$ 是非减的，可以理解为其定义域在负方向上无限延伸。由式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内，我们知道其左侧仍在定义域内，即 $g(\theta x+(1-\theta)y)\in\dom h$，因此 $\dom f$ 是凸集。
&emsp;&emsp;根据前提条件，$\tilde{h}$ 非减，利用不等式 $\eqref{ConvexityOfFunctionG}$，有
$$\begin{equation}\label{NondecreasingOfFunctionH}
h(g(\theta x+(1-\theta)y))\leqslant h(\theta g(x)+(1-\theta)g(y))
\end{equation}
$$
由函数 $h$ 的凸性可得
$$\begin{equation}\label{ConvexityOfFunctionH}
h(\theta g(x)+(1-\theta)g(y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
\end{equation}
$$
综合式 $\eqref{NondecreasingOfFunctionH}$ 和式 $\eqref{ConvexityOfFunctionH}$ 可得
$$
h(g(\theta x+(1-\theta)y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
$$
复合定理得证。
> **举例**&emsp;简单的复合结论。
>
> - 如果 $g$ 是凸函数则 $\exp g(x)$ 是凸函数。
> - 如果 $g$ 是凹函数且大于零，则 $\log g(x)$ 是凹函数。
> - 如果 $g$ 是凹函数且大于零，则 $1/g(x)$是凸函数。
> - 如果 $g$ 是凸函数且不小于零，$p\geqslant1$，则 $g(x)^p$ 是凸函数。
> - 如果 $g$ 是凸函数，则 $-\log(-g(x))$ 在 $\{x\mid g(x)<0\}$ 上是凸函数。
> **注释**&emsp;扩展值延伸 $\tilde{h}$ 的单调性要求必须满足，注意到是 $\tilde{h}$，而不仅仅是 $h$。例如，考虑 $g( x) = x^2$，$\dom g = \mathbf{R}$，$h( x) = 0$，$\dom h= [ 1, 2]$ 复合的情形。此时 $g$ 是凸函数，$h$ 是凸函数且非减，但是函数 $f=h\circ g$
>
> $$
> f(x)=0,\quad\mathbf{dom}f=[-\sqrt{2},-1]\:\cup\:[1,\sqrt{2}]
> $$
>
> 不是凸函数，因为其定义域非凸。当然，此时函数 $\tilde{h}$ 不是非减的。
# 参考文献
1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.
2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013.
source/images/post/2024-07-03-josh-cvx-2-2/2024-07-03-josh-cvx-2-2-070-ExtendedValueExtension.png
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 36 KiB