diff --git a/source/_posts/2022-03-29-josh-cvx-1-1.md b/source/_posts/2022-03-29-josh-cvx-1-1.md index 03c113b..b06eaa6 100644 --- a/source/_posts/2022-03-29-josh-cvx-1-1.md +++ b/source/_posts/2022-03-29-josh-cvx-1-1.md @@ -41,7 +41,7 @@ $$ y = \theta x_1 + (1-\theta)x_2,\theta \in \bfR $$ -组成一条穿过 $x_1$ 和 $x_2$ 的**直线**（*line*）。参数 $\theta = 0$ 和 $\theta = 1$ 分别对应 $y=x_2$ 和 $y = x_1$。参数 $\theta$ 的值在 0 和 1 之间变动，构成了 $x_1$ 和 $x_2$ 之间的（闭）线段（(closed) *line segment*）。 +组成一条穿过 $x_1$ 和 $x_2$ 的**直线**（*line*）。参数 $\theta = 0$ 和 $\theta = 1$ 分别对应 $y=x_2$ 和 $y = x_1$。参数 $\theta$ 的值在 0 和 1 之间变动，构成了 $x_1$ 和 $x_2$ 之间的（闭）**线段**（(closed) *line segment*）。   另一种 $y$ 的表示形式 @@ -49,11 +49,11 @@ $$ y = x_2 + \theta (x_1 - x_2) $$ -可以解释为：$y$ 是**基点**（*base point*）$x_2$（对应 $\theta = 0$）和**方向**（*direction*）$x_1 - x_2$（由 $x_2$ 指向 $x_1$）乘以参数 $\theta$ 的和。因此，$\theta$ 给出了 $y$ 在由 $x_2$ 通向 $x_1$ 的路上的位置。当 $\theta$ 由 $0$ 增加到 $1$, 点 $y$ 相应地由 $x_2$ 移动到 $x_1$。如果 $\theta > 1$，点 $y$ 在超越了 $x_1$ 的直线上。[图 1](#图1) 给出了直观的解释。 +可以解释为：$y$ 是**基点**（*base point*）$x_2$（对应 $\theta = 0$）和**方向**（*direction*）$x_1 - x_2$（由 $x_2$ 指向 $x_1$）乘以参数 $\theta$ 的和。因此，$\theta$ 给出了 $y$ 在由 $x_2$ 通向 $x_1$ 的路上的位置。当 $\theta$ 由 $0$ 增加到 $1$，点 $y$ 相应地由 $x_2$ 移动到 $x_1$。如果 $\theta > 1$，点 $y$ 在超越了 $x_1$ 的直线上。[图 1](#图1) 给出了直观的解释。 -![图 1. 通过 $x_1$ 和 $x_2$ 的直线可以参数化描述为 $\theta x_1 + (1-\theta)x_2$, 其中 $\theta$ 在 $\bfR$ 上变化。$x_1$ 和 $x_2$ 之间的线段由深色所示，对应处于 $0$ 和 $1$ 之间的 $\theta$。](../images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png){width=600px} +![图 1. 通过 $x_1$ 和 $x_2$ 的直线可以参数化描述为 $\theta x_1 + (1-\theta)x_2$，其中 $\theta$ 在 $\bfR$ 上变化。$x_1$ 和 $x_2$ 之间的线段由深色所示，对应处于 $0$ 和 $1$ 之间的 $\theta$。](../images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png){width=600px} @@ -66,7 +66,7 @@ $$   如果 $C$ 是一个仿射集合并且 $x_0 \in C$，则集合 $$ -V = C - x_0 = \left\{ x - x_0\ \middle|\ x \in C \right\} +V = C - x_0 = \left\{ x - x_0\mid x \in C \right\} $$ 是一个子空间，即关于加法和数乘是封闭的。 @@ -82,12 +82,12 @@ $$   因此，仿射集合 $C$ 可以表示为 $$ -C = V + x_0 = \left\{ v + x_0\ \middle|\ v \in V \right\} +C = V + x_0 = \left\{ v + x_0\mid v \in V \right\} $$ 即一个子空间加上一个偏移。与仿射集合 $C$ 相关联的子空间 $V$ 与 $x_0$ 的选取无关，所以 $x_0$ 可以是 $C$ 中的任意一点。定义仿射集合 $C$ 的维数为子空间 $V = C - x_0$ 的维数，其中 $x_0$ 是 $C$ 中的任意元素。 -> **举例** **线性方程组的解集**。线性方程组的解集 $C = \{x\ |\ Ax= b\}$，其中 $A\in\bfR^{m\times n}$，$b \in \bfR^{m}$ 是一个仿射集合。为说明这点，设 $x_1,x_2\in C$，即 $Ax_1 = b, Ax_2 = b$。则对于任意 $\theta$，有 +> **举例** **线性方程组的解集**。线性方程组的解集 $C = \{x\mid Ax= b\}$ 是一个仿射集合，其中 $A\in\bfR^{m\times n}$，$b \in \bfR^{m}$ 。为说明这点，设 $x_1,x_2\in C$，即 $Ax_1 = b, Ax_2 = b$。则对于任意 $\theta$，有 > > $$\begin{aligned} > A(\theta x_1 + (1-\theta)x_2) &= \theta Ax_1 + (1-\theta)Ax_2 \\ @@ -97,12 +97,12 @@ $$ > > 这表明任意的仿射组合 $\theta x_1 + (1-\theta)x_2$ 也在 $C$ 中，并且与仿射集合 $C$ 相关联的子空间就是 $A$ 的零空间。 > -> 反之任意仿射集合可以表示为一个线性方程组的解集。 +> 反之，任意仿射集合可以表示为一个线性方程组的解集。   由集合 $C \subseteq \bfR^n$ 中的点的所有仿射组合组成的集合称为 $C$ 的**仿射包**（*affine hull*），记为 $\aff{C}$： $$ -\aff{C} = \left\{ \theta_1 x_1 + \cdots + \theta_k x_k\ \middle|\ x_1, \cdots, x_k \in C, \theta_1 + \cdots + \theta_k = 1 \right\} +\aff{C} = \left\{ \theta_1 x_1 + \cdots + \theta_k x_k\mid x_1, \cdots, x_k \in C, \theta_1 + \cdots + \theta_k = 1 \right\} $$ 仿射包是包含 $C$ 的最小的仿射集合，也就是说：如果 $S$ 是满足 $C \subseteq S$ 的仿射集合，那么 $\aff{C} \subseteq S$。 @@ -111,32 +111,38 @@ $$   集合 $C$ 的仿射维数定义为其仿射包的维数。仿射维数在凸分析及凸优化中十分有用，但它与其他维数的定义常常不相容。 -> **举例** 考虑 $\bfR^2$ 上的单位圆环 $\left\{x\in\bfR^2\ \middle|\ x_1^2 + x_2^2 = 1 \right\}$。它的仿射包是全空间 $\bfR^2$，所以其仿射维数为 $2$。但是，在其他大多数维数的定义下，$\bfR^2$ 上的单位圆环的维数为 $1$。 +> **举例** 考虑 $\bfR^2$ 上的单位圆环 $\left\{x\in\bfR^2\mid x_1^2 + x_2^2 = 1 \right\}$。它的仿射包是全空间 $\bfR^2$，所以其仿射维数为 $2$。但是，在其他大多数维数的定义下，$\bfR^2$ 上的单位圆环的维数为 $1$。   如果集合 $C \subseteq \bfR^n$ 的仿射维数小于 $n$，那么这个集合在仿射集合 $\aff C \ne \bfR^n$ 中。定义集合 $C$ 的**相对内部**（*relative interior*）为 $\aff C$ 的内部，记为 $\relint C$，即 $$ -\relint C = \left\{ x \in C\ \middle|\ B(x,r) \cap \aff C \subseteq C\ 对于某些\ r > 0 \right\} +\relint C = \left\{ x \in C\mid B(x,r) \cap \aff C \subseteq C\ 对于某些\ r > 0 \right\} $$ -其中 $B(x,r) = \left\{ y\ \middle|\ \left\| y-x \right\| \leqslant r \right\}$，即半径为 $r$，中心为 $x$ 并由范数 $\| \cdot \|$ 定义的球（这里的 $\| \cdot \|$ 可以是任意范数，并且所有范数定义了相同的相对内部）。于是可以定义集合 C 的**相对边界**（*relative boundary*）为 $\cl C\ \backslash \relint C$，此处 $\cl C$ 表示 $C$ 的闭包。 +其中 $B(x,r) = \left\{ y\mid \left\| y-x \right\| \leqslant r \right\}$，即半径为 $r$，中心为 $x$ 并由范数 $\| \cdot \|$ 定义的球（这里的 $\| \cdot \|$ 可以是任意范数，并且所有范数定义了相同的相对内部）。于是可以定义集合 $C$ 的**相对边界**（*relative boundary*）为 $\cl C\ \setminus \relint C$，此处 $\cl C$ 表示 $C$ 的闭包。 + +{% note info %} + +这里的 “$\setminus$” 表示“集合减”，也即集合 $C$ 的相对边界为其闭包 $\mathbf{cl}\ C$ 减去其相对内部 $\mathbf{relint}\ C$。 + +{% endnote %} > **举例** 考虑 $\bfR^3$ 中处于 $(x_1，x_2)$ 平面的一个正方形，定义 > > $$ -> C = \{x \in \bfR \ |\ -1\leqslant 1, -1\leqslant x_2\leqslant 1, x_3 = 0\} +> C = \{x \in \bfR \mid -1\leqslant 1, -1\leqslant x_2\leqslant 1, x_3 = 0\} > $$ > -> 其仿射包为 $(x_1,x_2)$-平面，即 $\aff C = \{x\in\bfR^3\ |\ x_3 = 0 \}$。$C$ 的内部为空，但其相对内部为 +> 其仿射包为 $(x_1,x_2)$-平面，即 $\aff C = \{x\in\bfR^3\mid x_3 = 0 \}$。$C$ 的内部为空，但其相对内部为 > > $$ -> \relint C = \{x\in\bfR^3\ |\ -1 \relint C = \{x\in\bfR^3\mid -1 $$ > > $C$（在 $\bfR^3$ 中）的边界是其自身，而相对边界是其边框， > > $$ -> \{x \in \bfR^3\ |\ \max\{|x_1|,|x_2|\} = 1,x_3 = 0\} +> \{x \in \bfR^3\mid \max\{|x_1|,|x_2|\} = 1,x_3 = 0\} > $$ # 4. 凸集 @@ -156,7 +162,7 @@ $$   集合 $C$ 中所有点的凸组合的集合称为集合 $C$ 的**凸包**（*convex hull*），记为 $\conv C$： $$ -\conv C = \left\{ \theta_1 x_1 + \cdots + \theta_k x_k\ \middle|\ x_i \in C, \theta_i \geqslant 0, i = 1,\cdots, k, \theta_1 + \cdots + \theta_k = 1 \right\} +\conv C = \left\{ \theta_1 x_1 + \cdots + \theta_k x_k\mid x_i \in C, \theta_i \geqslant 0, i = 1,\cdots, k, \theta_1 + \cdots + \theta_k = 1 \right\} $$ 顾名思义，凸包 $\conv C$ 总是凸的。它是包含 $C$ 的最小的凸集。也就是说，如果 $B$ 是包含 $C$ 的凸集，那么 $\conv C \subseteq B$。[图 3](#图3) 展示了凸包的定义。 @@ -165,19 +171,25 @@ $$ ![图 3. $\bfR^2$ 上两个集合的凸包。**左**：（如图所示的）十五个点的集合的凸包是一个五边形示）。**右**：[图 2](#图2) 中的肾形集合的凸包是阴影所示的集合。](../images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-030-TheConvexHullsOfTwoSets.png){width=800px} +{% note info %} + +集合 $C$ 的仿射包 $\mathbf{aff}\ C$ 和凸包 $\mathbf{Conv}\ C$ 的区别是参数 $\theta$ 的定义域。可以看出，仿射包 $\mathbf{aff}\ C$ 包含凸包 $\mathbf{Conv}\ C$，因此集合 $C$ 的仿射包是凸集。 + +{% endnote %} +   凸组合的概念可以扩展到无穷级数、积分以及大多数形式的概率分布。假设 $\theta_1,\theta_2,\cdots$ 满足 $$ \theta_i \geqslant 0, \quad i = 1,2,\cdots,\quad \sum_{i=1}^\infty \theta_i = 1 $$ -并且 $x_1, x_2, \cdots \in C$, 其中 $C \subseteq \bfR^n$ 为凸集。那么，如果下面的级数收敛，则有 +并且 $x_1, x_2, \cdots \in C$，其中 $C \subseteq \bfR^n$ 为凸集。那么，如果下面的级数收敛，则有 $$ \sum_{i=1}^\infty \theta_i x_i \in C $$ -更一般地，假设 $p:\bfR^n\to\bfR$ 对所有 $x \in C$ 满足 $p(x) \geqslant 0$，并且 $\displaystyle \int_C p(x) \dd x$, 其中 $C \subseteq \bfR^n$ 是凸集。那么，如果下面的积分存在，则有 +更一般地，假设 $p:\bfR^n\to\bfR$ 对所有 $x \in C$ 满足 $p(x) \geqslant 0$，并且 $\displaystyle \int_C p(x) \dd x = 1$，其中 $C \subseteq \bfR^n$ 是凸集。那么，如果下面的积分存在，则有 $$ \int_C p(x)x \dd x \in C @@ -187,7 +199,7 @@ $$ # 5. 锥 -  如果对于任意 $x \in C$ 和 $\theta \geqslant 0$ 都有 $\theta x \in C$，我们称集合 $C$ 是**锥**（*cone*）或者**非负齐次**（*nonnegative homogeneous*）。如果集合 $C$ 是锥，并且是凸的，则称 $C$ 为**凸锥**（*convex cone*），即对于任意 $x_1, x_2 \in C$ 和 $\theta_1, \theta_2 \geqslant 0$, 都有 +  如果对于任意 $x \in C$ 和 $\theta \geqslant 0$ 都有 $\theta x \in C$，我们称集合 $C$ 是**锥**（*cone*）或者**非负齐次**（*nonnegative homogeneous*）。如果集合 $C$ 是锥，并且是凸的，则称 $C$ 为**凸锥**（*convex cone*），即对于任意 $x_1, x_2 \in C$ 和 $\theta_1, \theta_2 \geqslant 0$，都有 $$ \theta_1 x_1 + \theta_2 x_2 \in C @@ -199,12 +211,12 @@ $$ ![图 4. 扇形展示了所有具有形式 $\theta_1 x_1 + \theta_2 x_2$ 的点，其中 $\theta_1, \theta_2 \geqslant 0$。扇形的顶点 ($\theta_1 = \theta_2 = 0$) 在 $0$；其边界（对应于 $$\theta_1 = 0$ 或 $\theta_2 = 0$) 穿过点 $x_1$ 和 $x_2$。](../images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-040-ThePieSlice.png){width=400px} -  具有 $\theta_1 x_1 + \cdots + \theta_k x_k, \theta_1,\cdots,\theta_k$ 形式的点称为 $x_1,\cdots,x_k$ 的**锥组合**（*conic combination*）（或**非负线性组合**（*nonnegative linear combination*））。如果 $x_i$ 均属于凸锥 $C$，那么，$x_i$ 的每一个锥组合也在 $C$ 中。反言之，集合 $C$ 是凸锥的充要条件是它包含其元素的所有锥组合。如同凸（或仿射）组合一样，锥组合的概念可以扩展到无穷级数和积分中。 +  具有 $\theta_1 x_1 + \cdots + \theta_k x_k, \theta_1,\cdots,\theta_k \geqslant 0$ 形式的点称为 $x_1,\cdots,x_k$ 的**锥组合**（*conic combination*）（或**非负线性组合**（*nonnegative linear combination*））。如果 $x_i$ 均属于凸锥 $C$，那么，$x_i$ 的每一个锥组合也在 $C$ 中。反言之，集合 $C$ 是凸锥的充要条件是它包含其元素的所有锥组合。如同凸（或仿射）组合一样，锥组合的概念可以扩展到无穷级数和积分中。   集合 $C$ 的**锥包**（*conic hull*）是 $C$ 中元素的所有锥组合的集合，即 $$ -\left\{ \theta_1 x_1 + \cdots + \theta_k x_k\ \middle|\ x_i \in C, \theta_i \geqslant 0, i = 1,\cdots,k \right\} +\left\{ \theta_1 x_1 + \cdots + \theta_k x_k\mid x_i \in C, \theta_i \geqslant 0, i = 1,\cdots,k \right\} $$ 它是包含 $C$ 的最小的凸锥（如[图 5](#图5) 所示）。 @@ -213,6 +225,12 @@ $$ ![图 5. [图 3](#图3) 中两个集合的锥包（阴影所示）。](../images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-050-TheConicHulls.png){width=600px} +{% note info %} + +类似仿射包，集合 $C$ 的凸包 $\mathbf{Conv}\ C$ 和锥包的区别是参数 $\theta$ 的定义域。可以看出，锥包包含凸包 $\mathbf{Conv}\ C$，因此集合 $C$ 的锥包是凸集。 + +{% endnote %} + # 参考文献 1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004. diff --git a/source/_posts/2024-06-08-josh-cvx-1-2.md b/source/_posts/2024-06-08-josh-cvx-1-2.md index 5e961c7..4a425b1 100644 --- a/source/_posts/2024-06-08-josh-cvx-1-2.md +++ b/source/_posts/2024-06-08-josh-cvx-1-2.md @@ -43,11 +43,8 @@ $\newcommand{\bfR}{\mathbf{R}} - 空集 $\emptyset$、任意一个点（即单点集（singleton））$\{x_0\}$ 、全空间 $\bfR^n$ 都是 $\bfR^n$ 的仿射（自然也是凸的）子集。 - 任意直线是仿射的。如果直线通过零点，则是子空间，因此，也是凸锥。 - - 一条线段是凸的，但不是仿射的（除非退化为一个点）。 - -- 一条**射线**（*ray*），即具有形式 $\left\{x_0 + \theta v\ \middle|\ \theta \geqslant 0 \right\}, v \ne 0$ 的集合，是凸的，但不是仿射的。如果射线的基点 $x_0$ 是 $0$，则它是凸锥。 - +- 一条**射线**（*ray*），即具有形式 $\left\{x_0 + \theta v\mid \theta \geqslant 0 \right\}, v \ne 0$ 的集合，是凸的，但不是仿射的。如果射线的基点 $x_0$ 是 $0$，则它是凸锥。 - 任意子空间是仿射的、凸锥（自然是凸的）。 @@ -57,25 +54,25 @@ $\newcommand{\bfR}{\mathbf{R}}   **超平面**（*hyperplane*）是具有如下形式的集合 $$ -\left\{ x\ \middle|\ a^\TT x = b \right\} +\left\{ x\mid a^\TT x = b \right\} $$ -其中 $a \in \bfR^n, a \ne 0$ 且 $b \in \bfR$。解析地来看，超平面是关于 $x$ 的非平凡线性方程的解空间（因此是一个仿射集合）。几何上，超平面 $\left\{ x\ \middle|\ a^\TT x = b \right\}$ 可以理解为与给定向量 $a$ 的内积为常数的点的集合；也可以看成法线方向为 $a$ 的超平面，而常数 $b \in \bfR$ 决定了这个平面从原点的偏移。为更好地理解几何含义，可以将超平面表示成 +其中 $a \in \bfR^n, a \ne 0$ 且 $b \in \bfR$。解析地来看，超平面是关于 $x$ 的非平凡线性方程的解空间（因此是一个仿射集合）。几何上，超平面 $\left\{ x\mid a^\TT x = b \right\}$ 可以理解为与给定向量 $a$ 的内积为常数的点的集合；也可以看成法线方向为 $a$ 的超平面，而常数 $b \in \bfR$ 决定了这个平面从原点的偏移。为更好地理解几何含义，可以将超平面表示成 $$ -\left\{ x\ \middle|\ a^\TT (x - x_0) = 0 \right\} +\left\{ x\mid a^\TT (x - x_0) = 0 \right\} $$ 其中 $x_0$ 是超平面上的任意一点（即任意满足 $a^\TT x_0 = b$ 的点）。进一步，可以表示为 $$ -\left\{ x\ \middle|\ a^\TT (x - x_0) = 0 \right\} = x_0 + a^\perp +\left\{ x\mid a^\TT (x - x_0) = 0 \right\} = x_0 + a^\perp $$ 其中 $a^\perp$ 表示 $a$ 的正交补，即与 $a$ 正交的向量的集合： $$ -a^\perp = \left\{ v\ \middle|\ a^\TT v = 0 \right\} +a^\perp = \left\{ v\mid a^\TT v = 0 \right\} $$ 从中可以看出，超平面由偏移 $x_0$ 加上所有正交于（法）向量 $a$ 的向量构成，具体可见[图 6](#图6) 。 @@ -87,7 +84,7 @@ $$   一个超平面将 $\bfR^n$ 划分为两个**半空间**（*halfspaces*）。（闭的）半空间是具有下列形式的集合， $$\begin{equation}\label{HalfSpace} - \left\{x\ \middle|\ a^\TT x \leqslant b \right\} + \left\{x\mid a^\TT x \leqslant b \right\} \end{equation} $$ @@ -100,7 +97,7 @@ $$   半空间 $\eqref{HalfSpace}$ 也可以表示为 $$ -\left\{x\ \middle|\ a^\TT (x - x_0) \leqslant 0 \right\} +\left\{x\mid a^\TT (x - x_0) \leqslant 0 \right\} $$ 其中 $x_0$ 是相应超平面上的任意一点，即 $x_0$ 满足 $a^\TT x_0 = b$。上式有一个简单的几何解释：半空间由 $x_0$ 加上任意与（向外的法）向量 $a$ 呈钝角（或直角）的向量组成，如[图 8](#图8) 所示。 @@ -109,20 +106,20 @@ $$ ![图 8. 阴影所示集合是由 $a^\TT (x - x_0) \leqslant 0$ 决定的半空间。向量 $x_1 - x_0$ 与 $a$ 的夹角为锐角，所以 $x_1$不在这个半空间中。向量 $x_2 - x_1$ 与 $a$ 的夹角为钝角，所以 $x_2$ 在半空间中。](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-080-VectorsAndHalfspaces.png){width=400px} -  半空间 $\eqref{HalfSpace}$ 的边界是超平面 $\left\{x\ \middle|\ a^\TT x = b \right\}$。集合 $\left\{x\ \middle|\ a^\TT x < b \right\}$ 是半空间 $\left\{x\ \middle|\ a^\TT x \leqslant b \right\}$ 的内部，称为**开半空间**（*open halfspace*）。 +  半空间 $\eqref{HalfSpace}$ 的边界是超平面 $\left\{x\mid a^\TT x = b \right\}$。集合 $\left\{x\mid a^\TT x < b \right\}$ 是半空间 $\left\{x\mid a^\TT x \leqslant b \right\}$ 的内部，称为**开半空间**（*open halfspace*）。 # 2. Euclid球和椭球   $\bfR^n$ 中的空间 **Euclid 球**（*Euclidean ball*）（或简称为球）具有下面的形式： $$ -B(x_c,r) = \left\{x\ \middle|\ \left\| x - x_c \right\|_2 \leqslant r \right\} = \left\{ x\ \middle|\ (x-x_c)^\TT(x-x_c) \leqslant r^2 \right\} +B(x_c,r) = \left\{x\mid \left\| x - x_c \right\|_2 \leqslant r \right\} = \left\{ x\mid (x-x_c)^\TT(x-x_c) \leqslant r^2 \right\} $$ 其中 $r > 0$，$\| \cdot \|_2$ 表示 Euclid 范数，即 $\|u\|_2 = (u^\TT u)^{1/2}$。向量 $x_r$ 是**球心**（*center*），标量 $r$ 为**半径**（*radius*）。$B (x_c, r)$ 由距离球心 $x_r$ 距离不超过 $r$ 的所有点组成。 Euclid 球的另一个常见的表达式为： $$ -B(x_c,r) = \left\{ x_c + ru\ \middle|\ \|u\|_2 \leqslant 1 \right\} +B(x_c,r) = \left\{ x_c + ru\mid \|u\|_2 \leqslant 1 \right\} $$   Euclid 球是凸集，即如果 $\|x_1-x_2\|\leqslant r$，$\|x_2-x_c\|\leqslant r$，并且 $0 \leqslant \theta \leqslant 1$，那么 @@ -135,12 +132,12 @@ $$\begin{aligned} & \leqslant r \end{aligned}$$ -（此处利用了 $\| \cdot \|_2$ 的齐次性和三角不等式。） +（这里利用了 $\| \cdot \|_2$ 的齐次性和三角不等式。）   一类相关的凸集是**椭球**（*ellipsoid*），它们具有如下的形式： $$\begin{equation}\label{ellipsoid-1} - \E = \left\{ x\ \middle|\ (x-x_c)^\TT P^{-1}(x-x_c) \leqslant 1 \right\} + \E = \left\{ x\mid (x-x_c)^\TT P^{-1}(x-x_c) \leqslant 1 \right\} \end{equation}$$ 其中 $P = P^\TT \succ 0$，即 $P$ 是对称正定矩阵。向量 $x_c \in \bfR^n$ 为椭球的中心。矩阵 $P$ 决定了椭球从 $x_c$ 向各个方向扩展的幅度。$\E$ 的半轴长度由 $\sqrt{\lambda_i}$ 给出，这里 $\lambda_i$ 为 $P$ 的特征值。球可以看成 $P = r^2I$ 的椭球。[图 9](#图9) 给出了 $\bfR^2$ 上的一个椭球。 @@ -152,17 +149,17 @@ $$\begin{equation}\label{ellipsoid-1}   椭球另一个常用的表示形式是 $$\begin{equation}\label{ellipsoid-2} - \E = \left\{ x_c + Au\ \middle|\ \|u\|_2 \leqslant 1 \right\} + \E = \left\{ x_c + Au\mid \|u\|_2 \leqslant 1 \right\} \end{equation}$$ 其中 $A$ 是非奇异的方阵。在此类表示形式中，可以不失一般性地假设 $A$ 对称正定。取 $A=P^{1/2}$，这个表达式给出了由式 $\eqref{ellipsoid-1}$ 定义的椭球。当式 $\eqref{ellipsoid-2}$ 中的矩阵 $A$ 为对称半正定矩阵，但奇异时，集合 $\eqref{ellipsoid-2}$ 称为**退化的椭球**（*degenerate ellipsoid*），其仿射维数等于 $A$ 的秩。退化的椭球也是凸的。 # 3. 范数球和范数锥 -  设 $\| \cdot \|$ 是 $\bfR^n$ 中的范数。由范数的一般性质可知，以 $r$ 为半径，$x_c$ 为球心的**范数球**（*norm ball*） $\left\{ x\ \middle|\ \|x-x_c\| \leqslant r \right\}$ 是凸的。关于范数 $\| \cdot \|$ 的**范数锥**（*norm cone*）是集合 +  设 $\| \cdot \|$ 是 $\bfR^n$ 中的范数。由范数的一般性质可知，以 $r$ 为半径，$x_c$ 为球心的**范数球**（*norm ball*） $\left\{ x\mid \|x-x_c\| \leqslant r \right\}$ 是凸的。关于范数 $\| \cdot \|$ 的**范数锥**（*norm cone*）是集合 $$ -C = \left\{ (x,t)\ \middle|\ \|x\| \leqslant t \right\} \subseteq \bfR^{n+1} +C = \left\{ (x,t)\mid \|x\| \leqslant t \right\} \subseteq \bfR^{n+1} $$ 顾名思义，它是一个凸锥。 @@ -170,11 +167,11 @@ $$ > **举例** **二阶锥**（*second-order cone*）是由 Euclid 范数定义的范数锥，即 > > $$\begin{aligned} -> C &= \left\{ (x,t) \in \bfR^{n+1}\ \middle|\ \|x\|_2 \leqslant t\right\} +> C &= \left\{ (x,t) \in \bfR^{n+1}\mid \|x\|_2 \leqslant t\right\} > \\ > &= \left\{ \left[\begin{array}{c} > x \\ t -> \end{array} \right]\ \middle|\ \left[\begin{array}{c} +> \end{array} \right]\middle| \left[\begin{array}{c} > x \\ t > \end{array} \right]^\TT\left[\begin{array}{c} > I & 0 \\ 0 & -1 @@ -187,14 +184,14 @@ $$ > > > -> ![图 10. $\bfR^3$ 中二阶锥 $\left\{(x_1,x_2,t)\middle| (x_1^2 + x_2^2)^{1/2} \leqslant t\right\}$ 的边界](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-100-BoundaryOfSecondOrderCone.png){width=500px} +> ![图 10. $\bfR^3$ 中二阶锥 $\left\{(x_1,x_2,t)\mid (x_1^2 + x_2^2)^{1/2} \leqslant t\right\}$ 的边界](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-100-BoundaryOfSecondOrderCone.png){width=500px} # 4. 多面体   **多面体**（*polyhedron*）被定义为有限个线性等式和不等式的解集： $$\begin{equation}\label{polyhedron-1} - \P = \left\{ x\ \middle|\ a_j^\TT x \leqslant b_j,\ j = 1,\cdots,m,\ c_j^\TT x = d_j,\ j = 1,\cdots,p\right\} + \P = \left\{ x\mid a_j^\TT x \leqslant b_j,\ j = 1,\cdots,m,\ c_j^\TT x = d_j,\ j = 1,\cdots,p\right\} \end{equation}$$ 因此，多面体是有限个半空间和超平面的交集。仿射集合（例如子空间、超平面、直线）、射线、线段和半空间都是多面体。显而易见，多面体是凸集。有界的多面体有时也称为**多胞形**（*polytope*），但也有一些作者反过来使用这两个概念（即用多胞形表示具有 $\eqref{polyhedron-1}$ 形式的集合，而当其有界时称为多面体）。[图 11](#图11) 显示了一个由五个半空间的交集定义的多面体。 @@ -206,7 +203,7 @@ $$\begin{equation}\label{polyhedron-1}   可以方便地使用紧凑表达式 $$\begin{equation}\label{polyhedron-2} - \P = \left\{ x\ \middle|\ Ax \preceq b,\ Cx = d \right\} + \P = \left\{ x\mid Ax \preceq b,\ Cx = d \right\} \end{equation}$$ 来表示 $\eqref{polyhedron-1}$，其中 @@ -224,17 +221,17 @@ $$ > **举例** **非负象限**（*nonnegative orthant*）是具有非负分量的点的集合，即 > > $$ -> \bfR_+^n = \left\{ x\in\bfR^n\ \middle|\ x_i \geqslant 0,\ i = 1,\cdots,n \right\} = \left\{ x\in \bfR^n\ \middle|\ x \succeq 0 \right\} +> \bfR_+^n = \left\{ x\in\bfR^n\mid x_i \geqslant 0,\ i = 1,\cdots,n \right\} = \left\{ x\in \bfR^n\mid x \succeq 0 \right\} > $$ > -> （此处 $\bfR_+$ 表示非负实数的集合，即 $\bfR_+ = \left\{ x\in\bfR\ \middle|\ x \geqslant 0 \right\}$。）非负象限既是多面体也是锥（因此称为**多面体锥**（*polyhedral cone*））。 +> （此处 $\bfR_+$ 表示非负实数的集合，即 $\bfR_+ = \left\{ x\in\bfR\mid x \geqslant 0 \right\}$。）非负象限既是多面体也是锥（因此称为**多面体锥**（*polyhedral cone*））。 ## 4.1 单纯形   **单纯形**（*simplex*）是一类重要的多面体。设 $k+1$ 个点 $v_0,\cdots,v_k \in \bfR^n$ 仿射独立，即 $v_1 - v_0, \cdots, v_k-v_0$ 线性独立，那么，这些点决定了一个单纯形： $$\begin{equation}\label{simplex} - C = \conv{\{v_0,\cdots,v_k\}} = \left\{ \theta_0v_0 + \cdots + \theta_k v_k\ \middle|\ \theta \succeq 0,\ \mathbf{1}^\TT\theta = 1 \right\} + C = \conv{\{v_0,\cdots,v_k\}} = \left\{ \theta_0v_0 + \cdots + \theta_k v_k\mid \theta \succeq 0,\ \mathbf{1}^\TT\theta = 1 \right\} \end{equation}$$ 其中 $\mathbf{1}$ 表示所有分量均为 $1$ 的向量。这个单纯形的仿射维数为 $k$，因此也称为 $\bfR^n$ 空间的 $k$ 维单纯形。 @@ -299,7 +296,7 @@ $$   有限集合 $\{v_1,\cdots,v_k\}$ 的凸包是 $$ -\conv\{v_1,\cdots,v_k\} = \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\ \middle|\ \theta \succeq 0, \ \mathbf{1}^\TT \theta = 1 \right\} +\conv\{v_1,\cdots,v_k\} = \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\mid \theta \succeq 0, \ \mathbf{1}^\TT \theta = 1 \right\} $$ 它是一个有界的多面体，但是（除非是例如单纯形这样的特殊情况）无法简单地用形如 $\eqref{polyhedron-1}$ 的式子，即用线性等式和不等式的集合将其表示。 @@ -307,7 +304,7 @@ $$   凸包表达式的一个扩展表示是， $$\begin{equation}\label{ExtendedHull} - \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\ \middle|\ \theta_1 + \cdots + \theta_m = 1,\ \theta_i\geqslant 0, \ i=1,\cdots,k \right\} + \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\mid \theta_1 + \cdots + \theta_m = 1,\ \theta_i\geqslant 0, \ i=1,\cdots,k \right\} \end{equation}$$ 其中 $m\leqslant k$。此处我们考虑 $v_i$ 的非负线性组合，但是仅仅要求前 $m$ 个系数之和为一。此外，我们可以将 $\eqref{ExtendedHull}$ 解释为点 $v_1,\cdots,v_m$ 的凸包加上点 $v_{m+1},\cdots,v_k$ 的锥包。集合 $\eqref{ExtendedHull}$ 定义了一个多面体，反之亦然，每个多面体都可以表示为此类形式（虽然这一点此处并未证明）。 @@ -315,7 +312,7 @@ $$\begin{equation}\label{ExtendedHull}   “如何表示多面体”这一问题的求解是十分巧妙的，并且有一些非常实用的结果。一个简单的例子是定义在 $\ell_\infty$-范数空间的 $\bfR^n$ 上的单位球， $$ -C = \left\{x\ \middle|\ |x_i| \leqslant 1, \ i = 1,\cdots n\right\} +C = \left\{x\mid |x_i| \leqslant 1, \ i = 1,\cdots n\right\} $$ $C$ 可以由 $2n$ 个线性不等式 $\pm e_i^\TT x \leqslant 1$ 表示为 $\eqref{polyhedron-1}$ 的形式，其中 $e_i$ 表示第 $i$ 维的单位向量。为了将其描述为形如 $\eqref{ExtendedHull}$ 的凸包，需要至少 $2^n$ 个点： @@ -331,19 +328,19 @@ $$   用 $\bfS^n$ 表示对称 $n\times n$ 矩阵的集合，即 $$ -\bfS^n = \left\{ X \in \bfR ^{n\times n}\ \middle|\ X = X^\TT \right\} +\bfS^n = \left\{ X \in \bfR ^{n\times n}\mid X = X^\TT \right\} $$ 这是一个维数为 $n(n + 1)/2$ 的向量空间。用 $\bfS^n_+$ 表示对称半正定矩阵的集合： $$ -\bfS^n_+ = \left\{ X \in \bfS^n\ \middle|\ X \succeq 0 \right\} +\bfS^n_+ = \left\{ X \in \bfS^n\mid X \succeq 0 \right\} $$ 用 $\bfS^n_{++}$ 表示对称正定矩阵的集合： $$ -\bfS^n_{++} = \left\{ X \in \bfS^n\ \middle|\ X \succ 0 \right\} +\bfS^n_{++} = \left\{ X \in \bfS^n\mid X \succ 0 \right\} $$ （这些符号与 $\bfR_+$ 相对应：$\bfR_+$ 表示非负实数，而 $\bfR_{++}$ 表示正实数。） diff --git a/source/_posts/2024-06-08-josh-cvx-1-3.md b/source/_posts/2024-06-08-josh-cvx-1-3.md index 04d609f..c6faff0 100644 --- a/source/_posts/2024-06-08-josh-cvx-1-3.md +++ b/source/_posts/2024-06-08-josh-cvx-1-3.md @@ -47,13 +47,13 @@ $  本文将描述一些保凸运算，利用保凸运算可以使用 > **举例** 半正定锥 $\bfS^n_+$ 可以表示为 > > $$ -> \bigcap_{z\ne 0} \left\{ X \in \bfS^n\ \middle|\ z^\TT Xz \geqslant 0 \right\} +> \bigcap_{z\ne 0} \left\{ X \in \bfS^n\mid z^\TT Xz \geqslant 0 \right\} > $$ > > 对于任意 $z\ne 0$，$z^\TT Xz$ 是关于 $X$ 的（不恒等于零的）线性函数，因此集合 > > $$ -> \left\{ X \in \bfS^n\ \middle|\ z^\TT Xz \geqslant 0 \right\} +> \left\{ X \in \bfS^n\mid z^\TT Xz \geqslant 0 \right\} > $$ > > 实际上就是 $\bfS^n$ 的半空间。由此，半正定锥是无穷个半空间的交集，因此是凸的。 @@ -63,13 +63,13 @@ $  本文将描述一些保凸运算，利用保凸运算可以使用 > **举例**  考虑集合 > > $$\begin{equation}\label{example2.8} -> S = \left\{ x \in \bfR^m\ \middle|\ |p(t)|\leqslant 1\ 对于\ |t| \leqslant \pi/3 \right\} +> S = \left\{ x \in \bfR^m\mid |p(t)|\leqslant 1\ 对于\ |t| \leqslant \pi/3 \right\} > \end{equation}$$ > > 其中 $p(t) = \displaystyle\sum_{k=1}^m x_k \cos kt$。集合 $S$ 可以表示为无穷个**平板**（*slab*）的交集：$S = \displaystyle \bigcap_{|t|\leqslant\pi/3} S_t$，其中 > > $$ -> S_t = \left\{x\ \middle|\ -1\leqslant (\cos t,\cdots, \cos mt)^\TT x \leqslant 1\right\} +> S_t = \left\{x\mid -1\leqslant (\cos t,\cdots, \cos mt)^\TT x \leqslant 1\right\} > $$ > > 因此，$S$ 是凸的。对于 $m=2$ 的情况，它的定义和集合可见[图 13](#图13) 和[图 14](#图14)。 @@ -85,7 +85,7 @@ $  本文将描述一些保凸运算，利用保凸运算可以使用   在上面这些例子中，我们通过将集合表示为（可能无穷多个）半空间的交集来表明集合的凸性。反过来我们也将看到：每一个闭的凸集 $S$ 是（通常为无限多个）半空间的交集。事实上，一个闭集 $S$ 是包含它的所有半空间的交集： $$ -S = \bigcap \left\{ \H\ \middle|\ \H\ 是半空间,\ S\subseteq \H \right\} +S = \bigcap \left\{ \H\mid \H\ 是半空间,\ S\subseteq \H \right\} $$ # 2. 仿射函数 @@ -93,13 +93,13 @@ $$   函数 $f: \bfR^n \to \bfR^m$ 是**仿射**（*affine*）的，如果它是一个线性函数和一个常数的和，即具有 $f(x) = Ax+ b$ 的形式，其中 $A \in \bfR^{m\times n}$，$b \in \bfR^m$。假设 $S \subseteq \bfR^n$ 是凸的，并且 $f: \bfR^n \to \bfR^m$ 是仿射函数。那么，$S$ 在 $f$ 下的象 $$ -f(S) = \left\{ f(x)\ \middle|\ x\in S \right\} +f(S) = \left\{ f(x)\mid x\in S \right\} $$ 是凸的。类似地，如果 $f:\bfR^k\to\bfR^n$ 是仿射函数，那么 $S$ 在 $f$ 下的原象 $$ -f^{-1}(S) = \left\{ x\ \middle|\ f(x)\in S \right\} +f^{-1}(S) = \left\{ x\mid f(x)\in S \right\} $$ 是凸的。 @@ -107,13 +107,13 @@ $$   两个简单的例子是**伸缩**（*scaling*）和**平移**（*translation*）。如果 $S \subseteq \bfR^n$ 是凸集，$\alpha \in \bfR$ 并且 $a \in \bfR^n$，那么，集合 $\alpha S$ 和 $S+a$ 是凸的，其中 $$ -\alpha S = \left\{ \alpha x\ \middle|\ x \in S \right\},\qquad S + a = \left\{ x + a\ \middle|\ x \in S \right\} +\alpha S = \left\{ \alpha x\mid x \in S \right\},\qquad S + a = \left\{ x + a\mid x \in S \right\} $$ 一个凸集向它的某几个坐标的**投影**（*projection*）是凸的，即：如果 $S \subseteq \bfR^m \times \bfR^n$ 是凸集，那么 $$ -T = \left\{ x_1\in \bfR^m\ \middle|\ (x_1,x_2)\in S\ 对于某些\ x_2 \in \bfR^n \right\} +T = \left\{ x_1\in \bfR^m\mid (x_1,x_2)\in S\ 对于某些\ x_2 \in \bfR^n \right\} $$ 是凸集。 @@ -121,13 +121,13 @@ $$   两个集合的**和**（*sum*）可以定义为： $$ -S_1 + S_2 = \left\{ x + y\ \middle|\ x \in S_1, y \in S_2\right\} +S_1 + S_2 = \left\{ x + y\mid x \in S_1, y \in S_2\right\} $$ 如果 $S_1$ 和 $S_2$ 是凸集，那么，$S_1 + S_2$ 是凸的。可以看出，如果 $S_1$ 和 $S_2$ 是凸的，那么其直积或 Cartesian 乘积 $$ -S_1 \times S_2 = \left\{ (x_1,x_2)\ \middle| \ x_1\in S_1, x_2\in S_2 \right\} +S_1 \times S_2 = \left\{ (x_1,x_2)\mid x_1\in S_1, x_2\in S_2 \right\} $$ 也是凸集。这个集合在线性函数 $f(x_1,x_2) = x_1+x_2$ 下的象是和 $S_1 + S_2$。 @@ -135,15 +135,15 @@ $$   也可以考虑 $S_1,S_2 \in \bfR^m \times \bfR^n$ 的**部分和**（*partial sum*），定义为 $$ -S = \left\{ (x,y_1 + y_2)\ \middle| \ (x,y_1)\in S_1,\ (x,y_2)\in S_2 \right\} +S = \left\{ (x,y_1 + y_2)\mid (x,y_1)\in S_1,\ (x,y_2)\in S_2 \right\} $$ 其中 $x\in\bfR^n$，$y_i \in \bfR^m$。$m=0$ 时，部分和给出了 $S_1$ 和 $S_2$的交集；$n=0$ 时，部分和等于集合之和。凸集的部分和是凸集。 -> **举例** **多面体**。$\{ x\ |\ Ax \preceq b, Cx = d \}$ 可以表示为非负象限和原点的 Cartesian 乘积在仿射函数 $f(x) = (b -Ax, d - Cx)$ 下的原象： +> **举例** **多面体**。$\{ x\mid Ax \preceq b, Cx = d \}$ 可以表示为非负象限和原点的 Cartesian 乘积在仿射函数 $f(x) = (b -Ax, d - Cx)$ 下的原象： > > $$ -> \{x\ |\ Ax\preceq b, Cx = d\} = \{ x\ |\ f(x) \in \bfR^m_+ \times \{0\}\} +> \{x\mid Ax\preceq b, Cx = d\} = \{ x\mid f(x) \in \bfR^m_+ \times \{0\}\} > $$ > **举例** **线性矩阵不等式的解**。条件 @@ -160,18 +160,18 @@ $$ > > 的相似性，其中 $b,a_i\in \bfR$。） > -> 线性矩阵不等式的解 $\{ x\ |\ A(x) \preceq B\}$ 是凸集。事实上，它是半正定锥在由 $f(x) = B-A(x)$ 给定的仿射映射 $f: \bfR^n \to \bfS^m$ 下的原象。 +> 线性矩阵不等式的解 $\{ x\mid A(x) \preceq B\}$ 是凸集。事实上，它是半正定锥在由 $f(x) = B-A(x)$ 给定的仿射映射 $f: \bfR^n \to \bfS^m$ 下的原象。 > **举例** **双曲锥**。集合 > > $$ -> \{ x\ |\ x^\TT Px \leqslant (c^\TT x) ^2, c^\TT x \geqslant 0 \} +> \{ x\mid x^\TT Px \leqslant (c^\TT x) ^2, c^\TT x \geqslant 0 \} > $$ > > 是凸集，其中 $P\in\bfS^n_+$，$c\in\bfR$ 这是因为它是二阶锥 > > $$ -> \{ (z,t)\ |\ z^\TT z \leqslant t ^2 , t \geqslant 0 \} +> \{ (z,t)\mid z^\TT z \leqslant t ^2 , t \geqslant 0 \} > $$ > > 在仿射函数 $f(x) = (P^{1/2}x,c^\TT x)$ 下的原象。 @@ -179,10 +179,10 @@ $$ > **举例** **椭球**。椭球 > > $$ -> \E = \{ x\ |\ (x-x_c)^\TT P^{-1} (x-x_c) \leqslant 1 \} +> \E = \{ x\mid (x-x_c)^\TT P^{-1} (x-x_c) \leqslant 1 \} > $$ > -> 是单位 Euclid 球 $\{ u\ |\ \|u\|_2 \leqslant 1 \}$ 在仿射映射 $f(u) = P^{1/2}u + x_c$ 下的象， 其中 $P \in \bfS^n_{++}$。（同时也是单位球在仿射映射 $g(x) = P^{-1/2}(x — x_c)$ 下的原象。） +> 是单位 Euclid 球 $\{ u\mid \|u\|_2 \leqslant 1 \}$ 在仿射映射 $f(u) = P^{1/2}u + x_c$ 下的象， 其中 $P \in \bfS^n_{++}$。（同时也是单位球在仿射映射 $g(x) = P^{-1/2}(x — x_c)$ 下的原象。） # 3. 线性分式及透视函数 @@ -190,7 +190,7 @@ $$ ## 3.1 透视函数 -  定义 $P:\bfR^{n+1}\to\bfR^n$ 为**透视函数**（*perspective function*），其定义域为 $\dom P = \bfR^n \times \bfR_{++}$。（此处的 $\bfR_{++}$ 表示正实数集合，即 $\bfR_{++} = \{ x\in\bfR\ |\ x > 0 \}$。）透视函数对向量进行伸缩（scale），或称为规范化（normalize），使得最后一维分量为1 并舍弃之。 +  定义 $P:\bfR^{n+1}\to\bfR^n$ 为**透视函数**（*perspective function*），其定义域为 $\dom P = \bfR^n \times \bfR_{++}$。（此处的 $\bfR_{++}$ 表示正实数集合，即 $\bfR_{++} = \{ x\in\bfR\mid x > 0 \}$。）透视函数对向量进行伸缩（scale），或称为规范化（normalize），使得最后一维分量为1 并舍弃之。 > **注释** 我们用小孔成象来解释透视函数。($\bfR^3$ 中的）小孔照相机由一个不透明的水平面 $x_3 = 0$ 和一个在原点的小孔组成，光线通过这个小孔在 $x_3 = -1$ 呈现出一个水平图像。在相机上方 $x(x_3 > 0)$ 处的一个物体，在相平面的点 $=(x_1/x_3,x_2/x_3,1)$ 处形成一个图像。忽略象点的最后一维分量（因为它恒等于 $-1$），$x$ 处的点的象在象平面上呈现于 $y=-(x_1/x_3,x_2/x_3)$ 处。[图 15](#图15)显示了这个过程。 > @@ -201,7 +201,7 @@ $$   如果 $C \subseteq \dom P$ 是凸集，那么它的象 $$ -P(C) = \{ P(x)\ |\ x\in C \} +P(C) = \{ P(x)\mid x\in C \} $$ 也是凸集。这个结论很直观：通过小孔观察一个凸的物体，可以得到凸的象。为解释这个事实，我们将说明在透视函数作用下，线段将被映射成线段。（也可以这样理解，通过小孔，一条线段的象是一条线段。）假设 $x = (\tilde{x},x_{n+1}), y = (\tilde{y}, y_{n+1}) \in \bfR^{n+1}$，并且 $x_{n+1}>0, y_{n+1}>0$ 。那么，对于 $0 \leqslant \theta \leqslant 1$ @@ -223,7 +223,7 @@ $\theta$ 和 $\mu$ 之间的关系是单调的：当 $\theta$ 在 $0$、$1$ 间   一个凸集在透视函数下的原象也是凸的：如果 $C\subseteq \bfR^n$ 为凸集，那么 $$ -P^{-1}(C) = \{ (x,t)\in\bfR^{n+1}\ |\ x/t\in C, t > 0 \} +P^{-1}(C) = \{ (x,t)\in\bfR^{n+1}\mid x/t\in C, t > 0 \} $$ 是凸集。为证明这点，假设 $(x,t)\in P^{-1}(C), (y,s)\in P^{-1}(C), 0 \leqslant \theta \leqslant 1$。我们需要说明 @@ -259,7 +259,7 @@ $$\begin{equation}\label{AffineFunction} 其中 $A \in \bfR ^{m\times n}, b \in \bfR^m, c \in \bfR^n$ 并且 $d\in\bfR^n$。则由 $f =P\circ g$ 给出的函数 $f:\bfR^n \to \bfR^m$ $$\begin{equation}\label{LinearFractionalFunction} - f(x) = (Ax+b)/(c^\TT x + d),\qquad \dom f = \{x\ |\ c^\TT x + d > 0\} + f(x) = (Ax+b)/(c^\TT x + d),\qquad \dom f = \{x\mid c^\TT x + d > 0\} \end{equation}$$ 称为**线性分式**（*linear-fractional*）（或**投射**（*projective*））函数。如果 $c = 0, d > 0$，则 $f$ 的定义域为 $\bfR^n$ 并且 $f$ 是仿射函数。因此，我们可以将仿射和线性函数视为特殊的线性分式函数。 @@ -274,7 +274,7 @@ $$\begin{equation}\label{LinearFractionalFunction} > > 作用于（即左乘）点 $(x,1)$，得到 $(Ax + b,c^\TT x + d)$；然后将所得结果做伸缩变换或归一化，以使得其最后一个分量为一，得到 $(f(x), 1)$。 > -> 也可以从儿何上进行解释，即这个表达式将 $\bfR^n$ 与 $\bfR^{n+1}$ 空间上的一组射线联系了起来。也就是说，对于 $\bfR^n$ 空间的一个点 $z$，我们可以构造一个 $\bfR^{n+1}$ 空间的（开）射线 $P(z) = \{t(z,1)\ |\ t > 0\}$。这条射线上每个点的最后一个分量均是正值。反之， $\bfR^{n+1}$ 空间中每条以原点为顶点并且最后一个分量为正值的射线均可以由一些 $v\in\bfR^n$ 表示为 $\P(v) = \{t(v, 1)\ |\ t \geqslant 0\}$。$\P$ 表示了 $\bfR^n$ 与最后一个分量为正的射线之间的（投射）关系，这种关系是一一对应和满的。 +> 也可以从儿何上进行解释，即这个表达式将 $\bfR^n$ 与 $\bfR^{n+1}$ 空间上的一组射线联系了起来。也就是说，对于 $\bfR^n$ 空间的一个点 $z$，我们可以构造一个 $\bfR^{n+1}$ 空间的（开）射线 $P(z) = \{t(z,1)\mid t > 0\}$。这条射线上每个点的最后一个分量均是正值。反之， $\bfR^{n+1}$ 空间中每条以原点为顶点并且最后一个分量为正值的射线均可以由一些 $v\in\bfR^n$ 表示为 $\P(v) = \{t(v, 1)\mid t \geqslant 0\}$。$\P$ 表示了 $\bfR^n$ 与最后一个分量为正的射线之间的（投射）关系，这种关系是一一对应和满的。 > > 线性分式函数 $\eqref{LinearFractionalFunction}$ 可以表示为 > @@ -286,7 +286,7 @@ $$\begin{equation}\label{LinearFractionalFunction}   类似于透视函数，线性分式函数也是保凸的。如果 $C$ 是凸集并且在 $f$ 的定义域中（即任意 $x\in C$ 满足 $c^\TT x+d > 0$），那么 $C$ 的象 $f(C)$ 也是凸集。根据前述的结果可以直接得到这个结论： $C$ 在仿射映射 $\eqref{AffineFunction}$ 下的象是凸的，并且在透视函数 $P$ 下的映射（即 $f(C)$）是凸的。类似地，如果 $C \subseteq \bfR^m$ 是凸集，那么其原象 $f^{-1}(C)$ 也是凸的。 -> **举例** **条件概率**。设 $u$ 和 $v$ 是分别在 $\{1, \cdots, n\}$ 和 $\{1, \cdots, m\}$ 中取值的随机变量，并且 $p_ij$ 表示概率 $\prob(u = i,v = j)$。那么条件概率 $f_{ij} = \prob(u = i\ |\ v = j)$ 由下式给出 +> **举例** **条件概率**。设 $u$ 和 $v$ 是分别在 $\{1, \cdots, n\}$ 和 $\{1, \cdots, m\}$ 中取值的随机变量，并且 $p_ij$ 表示概率 $\prob(u = i,v = j)$。那么条件概率 $f_{ij} = \prob(u = i\mid v = j)$ 由下式给出 > > $$ > f_{ij} = \frac{p_{ij}}{\displaystyle\sum_{k=1}^n p_{kj}} @@ -299,12 +299,12 @@ $$\begin{equation}\label{LinearFractionalFunction}   [图 16](#图16) 表示了集合 $C\subseteq \bfR^2$ 及其在下面的线性分式函数下的象 $$ -f(x) = \frac{1}{x_1 + x_2 + 1} x,\qquad \dom f = \{(x_1,x_2)\ |\ x_1+x_2+1>0\} +f(x) = \frac{1}{x_1 + x_2 + 1} x,\qquad \dom f = \{(x_1,x_2)\mid x_1+x_2+1>0\} $$ -![图 16. **左**：集合 $C\subseteq \bfR^2$。虚线显示了线性分式函数 $f(x) = x/(x_1 + x_2 + 1)$ 的定义域的边界，其中 $\dom f = \{(x_1,x_2)\ |\ x_1+x_2+1>0\}$。**右**：$C$ 在 $f$ 下的象。虚线显示了 $f^{-1}$ 的定义域的边界。](../images/post/2024-06-08-josh-cvx-1-3/2024-06-08-josh-cvx-1-3-160-ASetAndItsImageUnderLFF.png){width=800px} +![图 16. **左**：集合 $C\subseteq \bfR^2$。虚线显示了线性分式函数 $f(x) = x/(x_1 + x_2 + 1)$ 的定义域的边界，其中 $\dom f = \{(x_1,x_2)\mid x_1+x_2+1>0\}$。**右**：$C$ 在 $f$ 下的象。虚线显示了 $f^{-1}$ 的定义域的边界。](../images/post/2024-06-08-josh-cvx-1-3/2024-06-08-josh-cvx-1-3-160-ASetAndItsImageUnderLFF.png){width=800px} # 参考文献 diff --git a/source/_posts/2024-06-12-josh-cvx-1-4.md b/source/_posts/2024-06-12-josh-cvx-1-4.md index 5430bb0..c8b7f71 100644 --- a/source/_posts/2024-06-12-josh-cvx-1-4.md +++ b/source/_posts/2024-06-12-josh-cvx-1-4.md @@ -73,7 +73,7 @@ $$ > **举例** **$[0, 1]$ 上非负的多项式锥**。$K$ 定义如下 > > $$\begin{equation} -> K = \{ c\in\bfR^n\ |\ c_1 + c_2 t + \cdots + c_n t^{n-1} \geqslant 0\ 对于\ t \in [0,1]\} +> K = \{ c\in\bfR^n\mid c_1 + c_2 t + \cdots + c_n t^{n-1} \geqslant 0\ 对于\ t \in [0,1]\} > \end{equation}$$ > > 即 $K$ 是 $[0, 1]$ 上最高 $n - 1$ 阶的非负多项式（系数）锥。可以看出 $K$ 是一个正常锥，其内部是 $[0, 1]$ 上为正的多项式的系数集合。 @@ -139,7 +139,7 @@ $$ > **举例** **对称矩阵集合中的最小元和极小元**。用 $A \in \bfS^n_{++}$ 表示一个圆心在原点的椭圆，即 > > $$ -> \E_A = \{ x\ |\ x^\TT A^{-1} x \leqslant 1 \} +> \E_A = \{ x\mid x^\TT A^{-1} x \leqslant 1 \} > $$ > > 我们知道 $A \preceq B$ 等价于 $\E_A \subseteq \E_B$。 @@ -147,7 +147,7 @@ $$ > 给定 $v_1,\cdots,v_k \in \bfR^n$ 并定义 > > $$ -> S = \{ P \in \bfS ^n_{++}\ |\ v_i^\TT P^{-1} v_i \leqslant 1,\ i = 1,\dots k \} +> S = \{ P \in \bfS ^n_{++}\mid v_i^\TT P^{-1} v_i \leqslant 1,\ i = 1,\dots k \} > $$ > > 它对应于包含了点 $v_1,\cdots,v_k$ 的椭圆的集合。集合 $S$ 没有最小元：对于任意包含点$v_1,\cdots,v_k$ 的椭圆，总可以找到另一个包含这些点但不可比的椭圆。一个椭圆是极小的，如果它包含这些点但没有更小的椭圆也包含这些点。[图 18](#图18)显示了 $\bfR^2$ 上 $k = 2$ 时的一个例子。 diff --git a/source/_posts/2024-06-12-josh-cvx-1-5.md b/source/_posts/2024-06-12-josh-cvx-1-5.md index 5ece4ec..de01053 100644 --- a/source/_posts/2024-06-12-josh-cvx-1-5.md +++ b/source/_posts/2024-06-12-josh-cvx-1-5.md @@ -32,11 +32,11 @@ $ \def\iint{\mathop{\bf int}} \def\bd{\mathop{\bf bd}} \def\cl{\mathop{\bf cl}} -$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\ |\ a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。 +$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\mid a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。 -![图 19. 超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了两个不相交的凸集 $C$ 和 $D$。仿射函数 $a^\TT x-b$ 在 $C$ 上非正而在 $D$ 上非负。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png){width=400px} +![图 19. 超平面 $\{ x\mid a^\TT x = b \}$ 分离了两个不相交的凸集 $C$ 和 $D$。仿射函数 $a^\TT x-b$ 在 $C$ 上非正而在 $D$ 上非负。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png){width=400px} @@ -45,7 +45,7 @@ $  本节将阐述一个在之后非常重要的想法：用超平面   这里我们考虑一个特殊的情况下的证明。假设 $C$ 和 $D$ 的（Euclid）**距离**（*distance*）为正，这里的距离定义为 $$ -\dist(C,D) = \inf\{ \|u,v\|_2\ |\ u \in C,\ v \in D\} +\dist(C,D) = \inf\{ \|u,v\|_2\mid u \in C,\ v \in D\} $$ 并且存在 $c\in C$ 和 $d\in D$ 达到这个最小距离，即 $ \| c- d \|_2= \dist(C, D)$ 。（这些条件是可以被满足的，例如当 $C$ 和 $D$ 是闭的并且其中之一是有界的。） @@ -62,7 +62,7 @@ $$ f(a) = a^\TT x - b = (d-c)^\TT(x - (1/2)(d+c)) $$ -在 $C$ 中非正而在 $D$ 中非负，即超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了 $C$ 和 $D$。这个超平面与连接 $c$ 和 $d$ 之间的线段相垂直并且穿过其中点，如[图 20](#图20) 所示。 +在 $C$ 中非正而在 $D$ 中非负，即超平面 $\{ x\mid a^\TT x = b \}$ 分离了 $C$ 和 $D$。这个超平面与连接 $c$ 和 $d$ 之间的线段相垂直并且穿过其中点，如[图 20](#图20) 所示。 @@ -83,7 +83,7 @@ $$ 可以看出式 $\eqref{ufunction}$ 意味着 $(d-c)^\TT(u-d) < 0$。于是，观察到 $$ -\left. \frac{\d}{\d t} \|d = t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0 +\left. \frac{\d}{\d t} \|d + t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0 $$ 因此，对于足够小的 $t>O$ 及 $t\leqslant 1$，有 @@ -94,7 +94,7 @@ $$ 即点 $d+t(u-d)$ 比 $d$ 更靠近 $c$。因为 $D$ 是包含 $d$ 和 $u$ 的凸集，我们有 $d+t(u-d) \in D$。但这是不可能的，因为根据假设，$d$ 应当是 $D$ 中离 $C$ 最近的点。 -> **举例** **仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\ |\ u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。 +> **举例** **仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\mid u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。 > > 这里 $a^\TT x \geqslant b$ 对于所有 $x \in D$ 均成立，表明对于任意 $u \in \bfR^m$ 均有 $a^\TT Fu \geqslant b - a^\TT g$。但是在 $\bfR^m$ 上，只有当一个线性函数为零时，它才是有界的。因此，可以推知 $a^\TT F=0$ （并且因此有 $b \leqslant a^\TT g$）。 > @@ -108,7 +108,7 @@ $$ > > 为说明这一点，需要注意，对于足够小的 $c > 0$，存在两个不相交的集合 $C$ 和 $B(x_0, \epsilon)$。根据超平面分离定理，存在 $a \ne 0$ 和 $b$，使得对于任意 $x\in C$ 有 $a^\TT x \leqslant b$；对于任意 $x \in B(x_0, \epsilon)$ 有 $a^\TT x \geqslant b$。 > -> 利用 $B(x_0, \epsilon) = \{ x_0 + u\ |\ \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为 +> 利用 $B(x_0, \epsilon) = \{ x_0 + u\mid \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为 > > $$ > a^\TT (x_0 + u) \geqslant b\ 对于所有\ \|u\|_2 \leqslant \epsilon @@ -147,7 +147,7 @@ $$ > 有解的充要条件。该不等式不可行的充要条件是（凸）集 > > $$ -> C = \{ b = Ax\ |\ x \in \bfR^n\},\qquad D = \bfR^m_{++} = \{ y \in \bfR^m\ |\ y \succ 0 \} +> C = \{ b = Ax\mid x \in \bfR^n\},\qquad D = \bfR^m_{++} = \{ y \in \bfR^m\mid y \succ 0 \} > $$ > > 不相交。集合 $D$ 是开集，而 $C$ 是仿射集合。根据前述的结论，$C$ 和 $D$ 不相交的充要条件是，存在分离超平面，即存在非零的 $\lambda \in \bfR^m$ 和 $\mu \in \bfR$ 使得 $C$ 中 $\lambda^\TT y \leqslant \mu$ 而 $D$ 中 $\lambda^\TT y \geqslant \mu$。 @@ -170,11 +170,11 @@ $$ x_0 \in \bd C = \cl C\ \backslash\ \iint C $$ -如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\ |\ a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。 +如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\mid a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。 -![图 21. 超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 在 $x_0$ 处支撑 $C$。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png){width=400px} +![图 21. 超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 在 $x_0$ 处支撑 $C$。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png){width=400px}   一个基本的结论，称为**支撑超平面定理**（*supporting hyperplane theorem*），表明对于任意非空的凸集 $C$ 和任意 $x_0 \in \bd C$，在 $x_0$ 处存在 $C$ 的支撑超平面。支撑超平面定理从超平面分离定理很容易得到证明。需要区分两种情况。如果 $C$ 的内部非空，对于 $\{x_0\}$ 和 $\iint C$ 应用超平面分离定理可以直接得到所需的结论。如果 $C$ 的内部是空集，则 $C$ 必处于小于 $n$ 维的一个仿射集合中，并且任意包含这个仿射集合的超平面一定包含 $C$ 和 $x_0$，这是一个（平凡的）支撑超平面。 diff --git a/source/_posts/2024-06-13-josh-cvx-1-6.md b/source/_posts/2024-06-13-josh-cvx-1-6.md new file mode 100644 index 0000000..3d61edb --- /dev/null +++ b/source/_posts/2024-06-13-josh-cvx-1-6.md @@ -0,0 +1,199 @@ +--- +title: Josh's Note — 凸优化
Part 1.6 凸集—对偶锥与广义不等式 +mathjax: true +comments: true +copyright: true +toc: + enable: true + number: true + wrap: true + expand_all: true + max_depth: 4 +categories: + - - Josh 的学习笔记 + - 凸优化 + - 凸集 + - - 数学 + - 凸优化 +tags: + - 凸优化 + - 凸集 +abbrlink: b2aac0f7 +date: 2024-06-13 10:57:38 +--- + +# 1. 对偶锥 + +$ +\newcommand{\bfR}{\mathbf{R}} +\newcommand{\bfS}{\mathbf{S}} +\newcommand{\TT}{\mathrm{T}} +\def\tr{\mathop{\bf tr}} +\def\iint{\mathop{\bf int}} +$  令 $K$ 为一个锥。集合 + +$$\begin{equation} + K^\ast = \{ y\mid x^\TT y \geqslant 0,\ \forall x \in K \} +\end{equation}$$ + +称为 K 的**对偶锥**（*dual cone*）。顾名思义，$K^\ast$ 是一个锥，并且它总是凸的，即使 $K$ 不是凸锥。 + +  从几何上看，$y \in K^\ast$ 当且仅当 $-y$ 是 $K$ 在原点的一个支撑超平面的法线，如[图 22](#图22) 所示。 + + + +![图 22. **左**：以 $y$ 为内法向量的半空间包含锥 $K$，因此，$y \in K^\ast$。**右**：以 $z$ 为内法向量的半空间不包含 $K$，因此，$z \notin K^\ast$。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-220-DualCone.png){width=600px} + +> **举例** **子空间**。子空间 $V \subseteq \bfR^n$（这是一个锥）的对偶锥是其正交补 $V^\perp = \{y\mid y^\TT v = 0,\ \forall v \in V\}$。 + + + +> **举例** **非负象限**锥 $\bfR^n_+$ 的对偶是它本身： +> +> $$ +> y^\TT x \geqslant 0,\ \forall x \succeq 0 \Longleftrightarrow y \succeq 0 +> $$ +> +> 我们称这种锥**自对偶**（*self-dual*）。 + +> **举例** **半正定锥**。在 $n \times n$ 对称矩阵的集合 $\bfS^n$ 上，我们使用其标准内积 $\tr(XY) = \displaystyle\sum_{i,j=1}^{n} X_{ij}Y_{ij}$。半正定锥 $\bfS^n_+$ 是自对偶的，即对于任意的 $X,Y\in\bfS^n$ +> +> $$ +> \tr (XY) \geqslant 0,\ \forall X \succeq 0 \Longleftrightarrow Y \succeq 0 +> $$ +> +> 下面，我们将说明这一结论。 +> +> 假设 $Y \notin \bfS^n_+$，那么存在 $q \in \bfR^n$ 并且 +> +> $$ +> q^\TT Yq = \tr (qq^\TT Y) < 0 +> $$ +> +> 于是半正定矩阵 $X = qq^\TT$ 满足 $\tr(XY) < 0$，由此可知 $Y \notin (\bfS^n_+)^\ast$。 +> +> 假设 $X,T\in\bfS^n_+$，我们可以利用特征值分解将 $X$ 表述为 $X = \displaystyle\sum_{i=1}^n \lambda_i q_i q_i^\TT$，其中（特征 $\lambda_i \geqslant 0,\ i = 1,\cdots,n$。于是，我们有 +> +> $$ +> \tr (XY) = \tr \left( Y \sum_{i=1}^n \lambda_i q_i q_i^\TT \right) = \sum_{i=1}^n \lambda_i q^\TT Y q_i \geqslant 0 +> $$ +> +> 以上表明 $Y \in (\bfS^n_+)^\ast$。 + +> **举例** **范数锥的对偶**。令 $\|\cdot\|$ 为定义在 $\bfR^n$ 上的范数。与之相关的锥 $K = \{ (x,t) \in \bfR^{n+1}\mid \|x\|\leqslant t \}$ 的对偶锥由其对偶范数定义， +> +> $$ +> K^\ast = \{(u,v) \in \bfR^{n+1}\mid \|u\|_\ast \leqslant v\} +> $$ +> +> 这里的对偶范数由 $\|u\|_\ast = \sup\{u^\TT x\mid \| x \|\leqslant 1\}$ 给出。 +> +> 为证明这个结论，我们需要说明 +> +> $$\begin{equation}\label{DualOfNormCone} +> x^\TT u + tv \geqslant 0\ 只要\ \|x\|\leqslant t \Longleftrightarrow \|u\|_\ast \leqslant v +> \end{equation}$$ +> +> 首先，证明由右端关于 $(u,v)$ 的条件可以得出左端的条件。设 $\|u\|_\ast \leqslant v$，并且对于一些 $t>0$ 有 $\|x\| \leqslant t$。（如果 $t = 0$，$x$ 必须是零，因此显然有 $u^\TT x + vt \geqslant 0$。）根据对偶锥的定义以及 $\|-x/t\|\leqslant 1$，我们有 +> +> $$ +> u^\TT (-x/t) \leqslant \|u\|_\ast \leqslant v +> $$ +> +> 因此，$u^\TT x + vt \geqslant 0$。 +> +> 其次，我们证明 $\eqref{DualOfNormCone}$ 左端的条件可以导出 $\eqref{DualOfNormCone}$ 右端的条件。假设 $\|u\|_\ast> v$，即右端不成立。那么，根据对偶锥的定义，存在 $x$ 满足 $\|x\|\leqslant 1$ 及 $x^\TT u > v$。取 $t=1$，我们有 +> +> $$ +> u^\TT (-x) + v < 0 +> $$ +> +> 这与 $\eqref{DualOfNormCone}$ 的左端相矛盾。 + +  对偶锥满足一些性质，例如 + +- $K^\ast$ 是闭凸锥。 +- $K_1 \subseteq K_2$ 可导出 $K_2^\ast \subseteq K_1^\ast$。 +- 如果 $K$ 有非空内部，那么 $K^\ast$ 是尖的。 +- 如果 $K$ 的闭包是尖的，那么 $K^\ast$ 有非空内部。 +- $K^{\ast\ast}$ 是 $K$ 的凸包的闭包。（因此，如果 $K$ 是凸和闭的，则 $K^{\ast\ast} = K$。）这些性质表明如果 $K$ 是一个正常锥，那么它的对偶 $K^\ast$ 也是，进一步地，有 $K^{\ast\ast} = K$。 + +# 2. 广义不等式的对偶 + +  现在假设凸锥 $K$ 是正常锥，因此它可以导出一个广义不等式 $\preceq_K$。其对偶锥 $K^\ast$ 也是正常的，所以也能导出一个广义不等式。我们称广义不等式立 $\preceq_{K^\ast}$ 为广义不等式 $\preceq_K$ 的**对偶**（*dual*）。 + +  关于广义不等式及其对偶有一些重要的性质 + +- $x \preceq_K y$ 当且仅当对于任意 $\lambda \succeq_{K^\ast}$，有 $\lambda^\TT x \leqslant \lambda^\TT y$。 +- $x \prec_K y$ 当且仅当对于任意 $\lambda \succeq_{K^\ast}$ 和 $\lambda\ne 0$，有 $\lambda^\TT T x < \lambda^\TT y$。 + +因为 $K = K^{\ast\ast}$，与 $\preceq_{K^\ast}$ 相关的对偶广义不等式为 $\preceq_{K}$，因此交换广义不等式及其对偶后，这些性质依然成立。作为一个具体的例子，我们可知 $\lambda\preceq_{K^\ast} \mu$ 的充要条件是对于所有 $x \succeq_K 0$ 有 $\lambda^\TT x \leqslant \mu^\TT x$。 + +> **举例** **线性严格广义不等式的择一定理**。设 $K \subseteq \bfR^m$ 为正常锥。考虑严格广义不等式 +> +> $$\begin{equation}\label{StrictGeneralInequality} +> Ax \prec_K b +> \end{equation}$$ +> +> 其中 $x \in \bfR^n$ +> +> 我们将导出对于这个不等式的择一定理。假设它是不可行的，即仿射集合 $\{b-Ax\mid x\in\bfR^n\}$ 与开凸集 $\iint K$ 不相交。那么存在一个分离超平面，即非零的 $\lambda\in\bfR^m$ 和 $\mu\in \bfR$ 使得对于任意 $x$ 有灯 $\lambda^\TT(b-Ax) \leqslant \mu$，对于任意 $y \in \iint K$ 有 $\lambda^\TT y \geqslant \mu$。第一个条件表明 $A^\TT \lambda = 0$ 及 $\lambda^\TT b \leqslant \mu$。第二个条件表明对于任意 $y\in K$ 有 $\lambda^\TT y \geqslant \mu$，这种情况仅当 $\lambda \in K^\ast$ 和 $\mu \leqslant 0$ 时才可能发生。 +> +> 综上，我们可知当 $\eqref{StrictGeneralInequality}$ 不可行时，存在 $\lambda$ 使得 +> +> $$\begin{equation}\label{StrictGeneralInequalityInfeasible} +> \lambda \ne 0,\qquad \lambda \preceq_{K^\ast} 0,\qquad A^\TT \lambda = 0,\qquad \lambda^\TT b \leqslant 0 +> \end{equation}$$ +> +> 现在我们证明反方向，即如果 $\eqref{StrictGeneralInequalityInfeasible}$ 成立，那么，不等式组 $\eqref{StrictGeneralInequality}$ 不可能可行。假设不等式均成立，因为 $\lambda\ne 0$，$\lambda \succeq_{K^\ast}$ 及 $b - Ax \succ_K 0$，我们有 $\lambda^\TT (b-Ax)>0$。但是根据 $A^\TT \lambda = 0$，我们可以找到 $\lambda^\TT (b-Ax) = \lambda^\TT b \leqslant 0$，而这是一个矛盾。 +> +> 因此，不等式组 $\eqref{StrictGeneralInequality}$ 和 $\eqref{StrictGeneralInequalityInfeasible}$ 构成一对择一：对于任意 $A, b$，它们中仅有一个是可行的。（这是严格线性不等式的择一定理的推广；严格线性不等式的择一定理是 $K = \bfR^m_+$ 时的特殊情况。） + +# 3. 对偶不等式定义的最小元和极小元 + +  可以利用对偶广义不等式来刻画集合 $S\subseteq\mathbf{R}^m$（可能非凸）关于正常锥 $K$ 导出的广义不等式的最小元和极小元。 + +## 3.1 最小元的对偶性质 + +  我们首先考虑**最小**（*minimum*）元的性质。$x$ 是 $S$ 上关于广义不等式 $\preceq _K$ 的最小元的充要条件是，对于所有 $\lambda\succ_{K^*}0$，$x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一最优解。几何上看，这意味着对于任意 $\lambda\succ_{K^*}0$，超平面 + +$$ +\{z\mid \lambda^\TT (z-x)=0\} +$$ + +是在 $x$ 处对 $S$ 的一个严格支撑超平面。(我们用严格支撑超平面表明这个超平面与 $S$ 只相交于 $x$。)注意此处并不要求 $S$ 是凸集。这可由[图 23](#图23)来表示。 + + + +![图 23. 最小元的对偶性质。点 $x$ 是集合 $S$ 中关于 $\mathbf{R}_+^2$ 的极小元。这等价于：对于任意 $\lambda\succ0$，超平面 $\{z\mid\lambda^\TT (z-x)=0\}$ 在 $x$ 处对 $S$ 严格支撑，即在超平面的一边包含了 $S$，并只在 $x$ 处与 $S$ 接触。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-230-DualCharacterizationOfMinimumElement.png){width=400px} + +  为说明这个结论，设 $x$ 是 $S$ 的最小元，即对于任意 $z\in S$ 有 $x\preceq_Kz$，同时，令 $\lambda\succ_{K^*} 0$，而$z\in S, z\neq x$。因为 $x$ 是 $S$ 上的最小元，我们有 $z-x\succeq_K0 $。根据 $\lambda\succ_{K^*}0$ 及 $z-x\succeq_K0,z-x\neq0$，可以得到 $\lambda^\TT (z-x)>0$。因为 $z$ 是 $S$ 上任意一个不等于 $x$ 的元素，所以 $x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解。反之，假设对于所有 $\lambda\succ_{K^*}0$，$x$ 是 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解，但 $x$ 不是 $S$ 的最小元。那么存在 $z\in S$ 满足 $z\nsucceq_Kx$。因为 $z-x\nsucceq_K0$，存在 $\tilde{\lambda}\succeq_{K^*} 0$ 并且 $\tilde{\lambda}^\TT(z-x)<0$。因此，对于 $\lambda\succ_{K^*} 0$，在 $\tilde{\lambda}$ 的邻域内有 $\lambda^\TT (z-x)<0$。这与 $x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的唯一解相矛盾。 + +## 3.2 极小元的对偶性质 + +  现在我们转而讨论**极小**（*minimal*）元的类似性质。此时，在必要和充分条件间存在一定的间隙。如果 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$，那么 $x$ 是极小的，如[图 24](#图24)所示。 + + + +![图 24. 集合 $S\subseteq\mathbf{R}^2$。其关于 $\mathbf{R}_+^2$ 的极小点集合由其边界的（左下）深色部分所示。$S$ 上极小化 $\lambda_1^\TT z$ 的解为 $x_1$，因为 $\lambda_1\succ0$，所以 $x_1$ 是极小的。$S$ 上极小化 $\lambda_2^\TT z$ 的解为 $x_2$，因为 $\lambda_2\succ0$，所以它是 $S$ 的另一个极小点。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-240-ASetAndItsSetOfMinimalPoints.png){width=400px} + +  为说明这点，假设 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $S$ 上极小化 $\lambda^\TT z$，但 $x$ 不是极小元，即存在 $z\in S$ 满足 $z\neq x,z\preceq_Kx$。那么 $\lambda^\TT (x-z)>0$，这与我们的假设，即 $x$ 在 $S$ 上极小化了 $\lambda^\TT z$，相矛盾。 + +  其逆命题在一般情况下不成立：$S$ 上的极小元 $x$ 可以对于任何 $\lambda$ 都不是 $z\in S$ 上极小化 $\lambda^\TT z$ 的解，如[图 25](#图25)所示。此图表明了凸性在这个逆定理中的重要作用，当凸性成立时，逆定理是成立的。假设集合 $S$ 是凸集，可以说对于任意极小元 $x$，存在非零的 $\lambda\succeq_{K^*} 0$ 使得 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$。 + + + +![图 25. 点 $x$ 是 $S\subseteq\mathbf{R}^2$ 关于 $\mathbf{R}_+^2$ 的极小元。但是，不存在 $\lambda$，使得 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-250-MinimalElement.png){width=350px} + +  为证明这一点，假设 $x$ 是极小的，也就是说 $((x-K)\setminus\{x\})\cap S=\emptyset$。对凸集 $(x-K)\setminus\{x\}$ 和 $S$ 应用超平面分离定理，我们可以得出：存在 $\lambda\neq0$和$\mu$，使得对于所有 $y\in K$ 有 $\lambda^\TT (x-y)\leqslant\mu$,对于所有 $z\in S$ 有 $\lambda^\TT z\geqslant\mu$。根据第一个不等式，我们可知 $\lambda\succeq_{K^*} 0$。由于 $x\in S$ 和 $x\in x-K$，我们有 $\lambda^\TT x=\mu$，所以第二个不等式表明 $\mu$ 是 $S$ 上 $\lambda^\TT z$ 的最小值。因此，$x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的一个解，这里 $\lambda\neq0,\lambda\succeq_{K^*}0$。 + +  这个逆定理无法加强为 $\lambda\succ_{K^*} 0$。反例表明，凸集 $S$ 上的极小元 $x$，可以对于任意 $\lambda\succ_{K^*}0$，都不是 $z\in S$ 中极小化 $\lambda ^\TT z$ 的解（参见[图 26，左图](#图26)）。同时，并不是对于任意 $\lambda\succeq_{K^*} 0$，在 $z\in S$ 上极小化 $\lambda^\TT z$ 的解都一定是极小的（参见[图 26，左图](#右26)）。 + + + +![图 26. **左**：点 $x_1\in S_1$ 是极小的，但对于任意 $\lambda\succ0$，它都没有在 $S_1$ 上极小化 $\lambda^\TT z$。（但是，对于 $\lambda=(1,0)$，它确实在所有 $z\in S_1$中极小化了$\lambda^\TT z$。）**右**：点 $x_2\in S_2$ 不是极小的，但对于 $\lambda=(0,1)\succeq0$，它确实在所有 $z\in S_2$ 中极小化了$\lambda^\TT z$。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-260-MinimalAndMinimizer.png){width=700px} + +# 参考文献 + +1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004. +2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013. diff --git a/source/images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png b/source/images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png index 2b5c871..d47760a 100644 Binary files a/source/images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png and b/source/images/post/2022-03-29-josh-cvx-1-1/2022-03-29-josh-cvx-1-1-010-TheLinePassingThroughX1AndX2.png differ diff --git a/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-220-DualCone.png b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-220-DualCone.png new file mode 100644 index 0000000..c59a95c Binary files /dev/null and b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-220-DualCone.png differ diff --git a/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-230-DualCharacterizationOfMinimumElement.png b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-230-DualCharacterizationOfMinimumElement.png new file mode 100644 index 0000000..3d2b7a7 Binary files /dev/null and b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-230-DualCharacterizationOfMinimumElement.png differ diff --git a/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-240-ASetAndItsSetOfMinimalPoints.png b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-240-ASetAndItsSetOfMinimalPoints.png new file mode 100644 index 0000000..c48b0cf Binary files /dev/null and b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-240-ASetAndItsSetOfMinimalPoints.png differ diff --git a/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-250-MinimalElement.png b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-250-MinimalElement.png new file mode 100644 index 0000000..2872e2b Binary files /dev/null and b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-250-MinimalElement.png differ diff --git a/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-260-MinimalAndMinimizer.png b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-260-MinimalAndMinimizer.png new file mode 100644 index 0000000..722df49 Binary files /dev/null and b/source/images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-260-MinimalAndMinimizer.png differ