new post cvx-1.6, update cvx series

source/_posts/2024-06-08-josh-cvx-1-2.md

@@ -43,11 +43,8 @@ $\newcommand{\bfR}{\mathbf{R}}
 - 空集 $\emptyset$、任意一个点（即单点集（singleton））$\{x_0\}$ 、全空间 $\bfR^n$ 都是 $\bfR^n$ 的仿射（自然也是凸的）子集。
 
 - 任意直线是仿射的。如果直线通过零点，则是子空间，因此，也是凸锥。
-
 - 一条线段是凸的，但不是仿射的（除非退化为一个点）。
-
-- 一条**射线**（*ray*），即具有形式 $\left\{x_0 + \theta v\ \middle|\ \theta \geqslant 0 \right\}, v \ne 0$ 的集合，是凸的，但不是仿射的。如果射线的基点 $x_0$ 是 $0$，则它是凸锥。
-
+- 一条**射线**（*ray*），即具有形式 $\left\{x_0 + \theta v\mid \theta \geqslant 0 \right\}, v \ne 0$ 的集合，是凸的，但不是仿射的。如果射线的基点 $x_0$ 是 $0$，则它是凸锥。
 - 任意子空间是仿射的、凸锥（自然是凸的）。
 
 <!-- more -->
@@ -57,25 +54,25 @@ $\newcommand{\bfR}{\mathbf{R}}
 &emsp;&emsp;**超平面**（*hyperplane*）是具有如下形式的集合
 
 $$
-\left\{ x\ \middle|\ a^\TT x = b \right\}
+\left\{ x\mid a^\TT x = b \right\}
 $$
 
-其中 $a \in \bfR^n, a \ne 0$ 且 $b \in \bfR$。解析地来看，超平面是关于 $x$ 的非平凡线性方程的解空间（因此是一个仿射集合）。几何上，超平面 $\left\{ x\ \middle|\ a^\TT x = b \right\}$ 可以理解为与给定向量 $a$ 的内积为常数的点的集合；也可以看成法线方向为 $a$ 的超平面，而常数 $b \in \bfR$ 决定了这个平面从原点的偏移。为更好地理解几何含义，可以将超平面表示成
+其中 $a \in \bfR^n, a \ne 0$ 且 $b \in \bfR$。解析地来看，超平面是关于 $x$ 的非平凡线性方程的解空间（因此是一个仿射集合）。几何上，超平面 $\left\{ x\mid a^\TT x = b \right\}$ 可以理解为与给定向量 $a$ 的内积为常数的点的集合；也可以看成法线方向为 $a$ 的超平面，而常数 $b \in \bfR$ 决定了这个平面从原点的偏移。为更好地理解几何含义，可以将超平面表示成
 
 $$
-\left\{ x\ \middle|\ a^\TT (x - x_0) = 0 \right\}
+\left\{ x\mid a^\TT (x - x_0) = 0 \right\}
 $$
 
 其中 $x_0$ 是超平面上的任意一点（即任意满足 $a^\TT x_0 = b$ 的点）。进一步，可以表示为
 
 $$
-\left\{ x\ \middle|\ a^\TT (x - x_0) = 0 \right\} = x_0 + a^\perp
+\left\{ x\mid a^\TT (x - x_0) = 0 \right\} = x_0 + a^\perp
 $$
 
 其中 $a^\perp$ 表示 $a$ 的正交补，即与 $a$ 正交的向量的集合：
 
 $$
-a^\perp = \left\{ v\ \middle|\ a^\TT v = 0 \right\}
+a^\perp = \left\{ v\mid a^\TT v = 0 \right\}
 $$
 
 从中可以看出，超平面由偏移 $x_0$ 加上所有正交于（法）向量 $a$ 的向量构成，具体可见[图 6](#图6) 。
@@ -87,7 +84,7 @@ $$
 &emsp;&emsp;一个超平面将 $\bfR^n$ 划分为两个**半空间**（*halfspaces*）。（闭的）半空间是具有下列形式的集合，
 
 $$\begin{equation}\label{HalfSpace}
-  \left\{x\ \middle|\ a^\TT x \leqslant b \right\}
+  \left\{x\mid a^\TT x \leqslant b \right\}
 \end{equation}
 $$
 
@@ -100,7 +97,7 @@ $$
 &emsp;&emsp;半空间 $\eqref{HalfSpace}$ 也可以表示为
 
 $$
-\left\{x\ \middle|\ a^\TT (x - x_0) \leqslant 0 \right\}
+\left\{x\mid a^\TT (x - x_0) \leqslant 0 \right\}
 $$
 
 其中 $x_0$ 是相应超平面上的任意一点，即 $x_0$ 满足 $a^\TT x_0 = b$。上式有一个简单的几何解释：半空间由 $x_0$ 加上任意与（向外的法）向量 $a$ 呈钝角（或直角）的向量组成，如[图 8](#图8) 所示。
@@ -109,20 +106,20 @@ $$
 
 ![图 8. 阴影所示集合是由 $a^\TT (x - x_0) \leqslant 0$ 决定的半空间。向量 $x_1 - x_0$ 与 $a$ 的夹角为锐角，所以 $x_1$不在这个半空间中。向量 $x_2 - x_1$ 与 $a$ 的夹角为钝角，所以 $x_2$ 在半空间中。](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-080-VectorsAndHalfspaces.png){width=400px}
 
-&emsp;&emsp;半空间 $\eqref{HalfSpace}$ 的边界是超平面 $\left\{x\ \middle|\ a^\TT x = b \right\}$。集合 $\left\{x\ \middle|\ a^\TT x < b \right\}$ 是半空间 $\left\{x\ \middle|\ a^\TT x \leqslant b \right\}$ 的内部，称为**开半空间**（*open halfspace*）。
+&emsp;&emsp;半空间 $\eqref{HalfSpace}$ 的边界是超平面 $\left\{x\mid a^\TT x = b \right\}$。集合 $\left\{x\mid a^\TT x < b \right\}$ 是半空间 $\left\{x\mid a^\TT x \leqslant b \right\}$ 的内部，称为**开半空间**（*open halfspace*）。
 
 # 2. Euclid球和椭球
 
 &emsp;&emsp;$\bfR^n$ 中的空间 **Euclid 球**（*Euclidean ball*）（或简称为球）具有下面的形式：
 
 $$
-B(x_c,r) = \left\{x\ \middle|\ \left\| x - x_c \right\|_2 \leqslant r \right\} = \left\{ x\ \middle|\ (x-x_c)^\TT(x-x_c) \leqslant r^2 \right\}
+B(x_c,r) = \left\{x\mid \left\| x - x_c \right\|_2 \leqslant r \right\} = \left\{ x\mid (x-x_c)^\TT(x-x_c) \leqslant r^2 \right\}
 $$
 
 其中 $r > 0$，$\| \cdot \|_2$ 表示 Euclid 范数，即 $\|u\|_2 = (u^\TT u)^{1/2}$。向量 $x_r$ 是**球心**（*center*），标量 $r$ 为**半径**（*radius*）。$B (x_c, r)$ 由距离球心 $x_r$ 距离不超过 $r$ 的所有点组成。 Euclid 球的另一个常见的表达式为：
 
 $$
-B(x_c,r) = \left\{ x_c + ru\ \middle|\ \|u\|_2 \leqslant 1 \right\}
+B(x_c,r) = \left\{ x_c + ru\mid \|u\|_2 \leqslant 1 \right\}
 $$
 
 &emsp;&emsp;Euclid 球是凸集，即如果 $\|x_1-x_2\|\leqslant r$，$\|x_2-x_c\|\leqslant r$，并且 $0 \leqslant \theta \leqslant 1$，那么
@@ -135,12 +132,12 @@ $$\begin{aligned}
   & \leqslant r
 \end{aligned}$$
 
-（此处利用了 $\| \cdot \|_2$ 的齐次性和三角不等式。）
+（这里利用了 $\| \cdot \|_2$ 的齐次性和三角不等式。）
 
 &emsp;&emsp;一类相关的凸集是**椭球**（*ellipsoid*），它们具有如下的形式：
 
 $$\begin{equation}\label{ellipsoid-1}
-  \E = \left\{ x\ \middle|\ (x-x_c)^\TT P^{-1}(x-x_c) \leqslant 1 \right\}
+  \E = \left\{ x\mid (x-x_c)^\TT P^{-1}(x-x_c) \leqslant 1 \right\}
 \end{equation}$$
 
 其中 $P = P^\TT \succ 0$，即 $P$ 是对称正定矩阵。向量 $x_c \in \bfR^n$ 为椭球的中心。矩阵 $P$ 决定了椭球从 $x_c$ 向各个方向扩展的幅度。$\E$ 的半轴长度由 $\sqrt{\lambda_i}$ 给出，这里 $\lambda_i$ 为 $P$ 的特征值。球可以看成 $P = r^2I$ 的椭球。[图 9](#图9) 给出了 $\bfR^2$ 上的一个椭球。
@@ -152,17 +149,17 @@ $$\begin{equation}\label{ellipsoid-1}
 &emsp;&emsp;椭球另一个常用的表示形式是
 
 $$\begin{equation}\label{ellipsoid-2}
-  \E = \left\{ x_c + Au\ \middle|\ \|u\|_2 \leqslant 1 \right\}
+  \E = \left\{ x_c + Au\mid \|u\|_2 \leqslant 1 \right\}
 \end{equation}$$
 
 其中 $A$ 是非奇异的方阵。在此类表示形式中，可以不失一般性地假设 $A$ 对称正定。取 $A=P^{1/2}$，这个表达式给出了由式 $\eqref{ellipsoid-1}$ 定义的椭球。当式 $\eqref{ellipsoid-2}$ 中的矩阵 $A$ 为对称半正定矩阵，但奇异时，集合 $\eqref{ellipsoid-2}$ 称为**退化的椭球**（*degenerate ellipsoid*），其仿射维数等于 $A$ 的秩。退化的椭球也是凸的。
 
 # 3. 范数球和范数锥
 
-&emsp;&emsp;设 $\| \cdot \|$ 是 $\bfR^n$ 中的范数。由范数的一般性质可知，以 $r$ 为半径，$x_c$ 为球心的**范数球**（*norm ball*） $\left\{ x\ \middle|\ \|x-x_c\| \leqslant r \right\}$ 是凸的。关于范数 $\| \cdot \|$ 的**范数锥**（*norm cone*）是集合
+&emsp;&emsp;设 $\| \cdot \|$ 是 $\bfR^n$ 中的范数。由范数的一般性质可知，以 $r$ 为半径，$x_c$ 为球心的**范数球**（*norm ball*） $\left\{ x\mid \|x-x_c\| \leqslant r \right\}$ 是凸的。关于范数 $\| \cdot \|$ 的**范数锥**（*norm cone*）是集合
 
 $$
-C = \left\{ (x,t)\ \middle|\ \|x\| \leqslant t \right\} \subseteq \bfR^{n+1}
+C = \left\{ (x,t)\mid \|x\| \leqslant t \right\} \subseteq \bfR^{n+1}
 $$
 
 顾名思义，它是一个凸锥。
@@ -170,11 +167,11 @@ $$
 > **举例**&emsp;**二阶锥**（*second-order cone*）是由 Euclid 范数定义的范数锥，即
 >
 > $$\begin{aligned}
->   C &= \left\{ (x,t) \in \bfR^{n+1}\ \middle|\ \|x\|_2 \leqslant t\right\}
+>   C &= \left\{ (x,t) \in \bfR^{n+1}\mid \|x\|_2 \leqslant t\right\}
 >   \\
 >   &= \left\{ \left[\begin{array}{c}
 >     x \\ t
->   \end{array} \right]\ \middle|\ \left[\begin{array}{c}
+>   \end{array} \right]\middle| \left[\begin{array}{c}
 >     x \\ t
 >   \end{array} \right]^\TT\left[\begin{array}{c}
 >     I & 0 \\ 0 & -1
@@ -187,14 +184,14 @@ $$
 >
 > <a id="图10"></a>
 >
-> ![图 10. $\bfR^3$  中二阶锥 $\left\{(x_1,x_2,t)\middle| (x_1^2 + x_2^2)^{1/2} \leqslant t\right\}$ 的边界](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-100-BoundaryOfSecondOrderCone.png){width=500px}
+> ![图 10. $\bfR^3$  中二阶锥 $\left\{(x_1,x_2,t)\mid  (x_1^2 + x_2^2)^{1/2} \leqslant t\right\}$ 的边界](../images/post/2024-06-08-josh-cvx-1-2/2024-06-08-josh-cvx-1-2-100-BoundaryOfSecondOrderCone.png){width=500px}
 
 # 4. 多面体
 
 &emsp;&emsp;**多面体**（*polyhedron*）被定义为有限个线性等式和不等式的解集：
 
 $$\begin{equation}\label{polyhedron-1}
-  \P = \left\{ x\ \middle|\ a_j^\TT x \leqslant b_j,\ j = 1,\cdots,m,\ c_j^\TT x = d_j,\ j = 1,\cdots,p\right\}
+  \P = \left\{ x\mid a_j^\TT x \leqslant b_j,\ j = 1,\cdots,m,\ c_j^\TT x = d_j,\ j = 1,\cdots,p\right\}
 \end{equation}$$
 
 因此，多面体是有限个半空间和超平面的交集。仿射集合（例如子空间、超平面、直线）、射线、线段和半空间都是多面体。显而易见，多面体是凸集。有界的多面体有时也称为**多胞形**（*polytope*），但也有一些作者反过来使用这两个概念（即用多胞形表示具有 $\eqref{polyhedron-1}$ 形式的集合，而当其有界时称为多面体）。[图 11](#图11) 显示了一个由五个半空间的交集定义的多面体。
@@ -206,7 +203,7 @@ $$\begin{equation}\label{polyhedron-1}
 &emsp;&emsp;可以方便地使用紧凑表达式
 
 $$\begin{equation}\label{polyhedron-2}
-  \P = \left\{ x\ \middle|\ Ax \preceq b,\ Cx = d \right\}
+  \P = \left\{ x\mid Ax \preceq b,\ Cx = d \right\}
 \end{equation}$$
 
 来表示 $\eqref{polyhedron-1}$，其中
@@ -224,17 +221,17 @@ $$
 > **举例**&emsp;**非负象限**（*nonnegative orthant*）是具有非负分量的点的集合，即
 >
 > $$
-> \bfR_+^n = \left\{ x\in\bfR^n\ \middle|\ x_i \geqslant 0,\ i = 1,\cdots,n \right\} = \left\{ x\in \bfR^n\ \middle|\ x \succeq 0 \right\}
+> \bfR_+^n = \left\{ x\in\bfR^n\mid x_i \geqslant 0,\ i = 1,\cdots,n \right\} = \left\{ x\in \bfR^n\mid x \succeq 0 \right\}
 > $$
 >
-> （此处 $\bfR_+$ 表示非负实数的集合，即 $\bfR_+ = \left\{ x\in\bfR\ \middle|\ x \geqslant 0 \right\}$。）非负象限既是多面体也是锥（因此称为**多面体锥**（*polyhedral cone*））。
+> （此处 $\bfR_+$ 表示非负实数的集合，即 $\bfR_+ = \left\{ x\in\bfR\mid x \geqslant 0 \right\}$。）非负象限既是多面体也是锥（因此称为**多面体锥**（*polyhedral cone*））。
 
 ## 4.1 单纯形
 
 &emsp;&emsp;**单纯形**（*simplex*）是一类重要的多面体。设 $k+1$ 个点 $v_0,\cdots,v_k \in \bfR^n$ 仿射独立，即 $v_1 - v_0, \cdots, v_k-v_0$ 线性独立，那么，这些点决定了一个单纯形：
 
 $$\begin{equation}\label{simplex}
-  C = \conv{\{v_0,\cdots,v_k\}} = \left\{ \theta_0v_0 + \cdots + \theta_k v_k\ \middle|\ \theta \succeq 0,\ \mathbf{1}^\TT\theta = 1 \right\}
+  C = \conv{\{v_0,\cdots,v_k\}} = \left\{ \theta_0v_0 + \cdots + \theta_k v_k\mid \theta \succeq 0,\ \mathbf{1}^\TT\theta = 1 \right\}
 \end{equation}$$
 
 其中 $\mathbf{1}$ 表示所有分量均为 $1$ 的向量。这个单纯形的仿射维数为 $k$，因此也称为 $\bfR^n$ 空间的 $k$ 维单纯形。
@@ -299,7 +296,7 @@ $$
 &emsp;&emsp;有限集合 $\{v_1,\cdots,v_k\}$ 的凸包是
 
 $$
-\conv\{v_1,\cdots,v_k\} = \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\ \middle|\ \theta \succeq 0, \ \mathbf{1}^\TT \theta = 1 \right\}
+\conv\{v_1,\cdots,v_k\} = \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\mid \theta \succeq 0, \ \mathbf{1}^\TT \theta = 1 \right\}
 $$
 
 它是一个有界的多面体，但是（除非是例如单纯形这样的特殊情况）无法简单地用形如 $\eqref{polyhedron-1}$ 的式子，即用线性等式和不等式的集合将其表示。
@@ -307,7 +304,7 @@ $$
 &emsp;&emsp;凸包表达式的一个扩展表示是，
 
 $$\begin{equation}\label{ExtendedHull}
-  \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\ \middle|\ \theta_1 + \cdots + \theta_m = 1,\ \theta_i\geqslant 0, \ i=1,\cdots,k \right\}
+  \left\{ \theta_1 v_1 + \cdots + \theta_k v_k\mid \theta_1 + \cdots + \theta_m = 1,\ \theta_i\geqslant 0, \ i=1,\cdots,k \right\}
 \end{equation}$$
 
 其中 $m\leqslant k$。此处我们考虑 $v_i$ 的非负线性组合，但是仅仅要求前 $m$ 个系数之和为一。此外，我们可以将 $\eqref{ExtendedHull}$ 解释为点 $v_1,\cdots,v_m$ 的凸包加上点 $v_{m+1},\cdots,v_k$ 的锥包。集合 $\eqref{ExtendedHull}$ 定义了一个多面体，反之亦然，每个多面体都可以表示为此类形式（虽然这一点此处并未证明）。
@@ -315,7 +312,7 @@ $$\begin{equation}\label{ExtendedHull}
 &emsp;&emsp;“如何表示多面体”这一问题的求解是十分巧妙的，并且有一些非常实用的结果。一个简单的例子是定义在 $\ell_\infty$-范数空间的 $\bfR^n$ 上的单位球，
 
 $$
-C = \left\{x\ \middle|\ |x_i| \leqslant 1, \ i = 1,\cdots n\right\}
+C = \left\{x\mid |x_i| \leqslant 1, \ i = 1,\cdots n\right\}
 $$
 
 $C$ 可以由 $2n$ 个线性不等式 $\pm e_i^\TT x \leqslant 1$ 表示为 $\eqref{polyhedron-1}$ 的形式，其中 $e_i$ 表示第 $i$ 维的单位向量。为了将其描述为形如 $\eqref{ExtendedHull}$ 的凸包，需要至少 $2^n$ 个点：
@@ -331,19 +328,19 @@ $$
 &emsp;&emsp;用 $\bfS^n$ 表示对称 $n\times n$ 矩阵的集合，即
 
 $$
-\bfS^n = \left\{ X \in \bfR ^{n\times n}\ \middle|\ X = X^\TT \right\}
+\bfS^n = \left\{ X \in \bfR ^{n\times n}\mid X = X^\TT \right\}
 $$
 
 这是一个维数为 $n(n + 1)/2$ 的向量空间。用 $\bfS^n_+$ 表示对称半正定矩阵的集合：
 
 $$
-\bfS^n_+ = \left\{ X \in \bfS^n\ \middle|\ X \succeq 0 \right\}
+\bfS^n_+ = \left\{ X \in \bfS^n\mid X \succeq 0 \right\}
 $$
 
 用 $\bfS^n_{++}$ 表示对称正定矩阵的集合：
 
 $$
-\bfS^n_{++} = \left\{ X \in \bfS^n\ \middle|\ X \succ 0 \right\}
+\bfS^n_{++} = \left\{ X \in \bfS^n\mid X \succ 0 \right\}
 $$
 
 （这些符号与 $\bfR_+$ 相对应：$\bfR_+$ 表示非负实数，而 $\bfR_{++}$ 表示正实数。）