new post cvx-1.4

source/_data/variables.styl

@@ -5,4 +5,4 @@ $border-radius           = 10px;
 // $font-family-chinese      = "PingFang SC", "Microsoft YaHei";
 
 // Font size of articles.
-$font-size-base = 18px
+// $font-size-base = 18px

source/_posts/2024-06-08-josh-cvx-1-2.md

@@ -113,13 +113,13 @@ $$
 
 # 2. Euclid球和椭球
 
-  $\bfR^n$ 中的空间 **Euclid 球**（*(Euclidean) ball*）（或简称为球）具有下面的形式：
+  $\bfR^n$ 中的空间 **Euclid 球**（*Euclidean ball*）（或简称为球）具有下面的形式：
 
 $$
 B(x_c,r) = \left\{x\ \middle|\ \left\| x - x_c \right\|_2 \leqslant r \right\} = \left\{ x\ \middle|\ (x-x_c)^\TT(x-x_c) \leqslant r^2 \right\}
 $$
 
-其中 $r > 0$, $\| \cdot \|_2$ 表示 Euclid 范数，即 $\|u\|_2 = (u^\TT u)^{1/2}$。向量 $x_r$ 是**球心**（*center*），标量 $r$ 为**半径**（*radius*）。$B (x_c, r)$ 由距离球心 $x_r$ 距离不超过 $r$ 的所有点组成。 Euclid 球的另一个常见的表达式为：
+其中 $r > 0$，$\| \cdot \|_2$ 表示 Euclid 范数，即 $\|u\|_2 = (u^\TT u)^{1/2}$。向量 $x_r$ 是**球心**（*center*），标量 $r$ 为**半径**（*radius*）。$B (x_c, r)$ 由距离球心 $x_r$ 距离不超过 $r$ 的所有点组成。 Euclid 球的另一个常见的表达式为：
 
 $$
 B(x_c,r) = \left\{ x_c + ru\ \middle|\ \|u\|_2 \leqslant 1 \right\}
@@ -143,7 +143,7 @@ $$\begin{equation}\label{ellipsoid-1}
   \E = \left\{ x\ \middle|\ (x-x_c)^\TT P^{-1}(x-x_c) \leqslant 1 \right\}
 \end{equation}$$
 
-其中 $P = P^\TT \succ 0$，即 $P$ 是对称正定矩阵。向量 $x_c \in \bfR^n$ 为椭球的中心。矩阵 $P$ 决定了椭球从 $x_c$ 向各个方向扩展的幅度。$\E$ 的半轴长度由 $\sqrt{\lambda_i}$ 给出，这里 $\lambda_i$ 为 $P$ 的特征值。球可以看成 $P ＝r^2I$ 的椭球。[图 9](#图9) 给出了 $\bfR^2$ 上的一个椭球。
+其中 $P = P^\TT \succ 0$，即 $P$ 是对称正定矩阵。向量 $x_c \in \bfR^n$ 为椭球的中心。矩阵 $P$ 决定了椭球从 $x_c$ 向各个方向扩展的幅度。$\E$ 的半轴长度由 $\sqrt{\lambda_i}$ 给出，这里 $\lambda_i$ 为 $P$ 的特征值。球可以看成 $P = r^2I$ 的椭球。[图 9](#图9) 给出了 $\bfR^2$ 上的一个椭球。
 
 <a id="图9"></a>
 
@@ -155,7 +155,7 @@ $$\begin{equation}\label{ellipsoid-2}
   \E = \left\{ x_c + Au\ \middle|\ \|u\|_2 \leqslant 1 \right\}
 \end{equation}$$
 
-其中 $A$ 是非奇异的方阵。在此类表示形式中，我们可以不失一般性地假设 $A$ 对称正定。取 $A=P^{1/2}$，这个表达式给出了由式 $\eqref{ellipsoid-1}$ 定义的椭球。当式 $\eqref{ellipsoid-2}$ 中的矩阵 $A$ 为对称半正定矩阵，但奇异时，集合 $\eqref{ellipsoid-2}$ 称为**退化的椭球**（*degenerate ellipsoid*），其仿射维数等于 $A$ 的秩。退化的椭球也是凸的。
+其中 $A$ 是非奇异的方阵。在此类表示形式中，可以不失一般性地假设 $A$ 对称正定。取 $A=P^{1/2}$，这个表达式给出了由式 $\eqref{ellipsoid-1}$ 定义的椭球。当式 $\eqref{ellipsoid-2}$ 中的矩阵 $A$ 为对称半正定矩阵，但奇异时，集合 $\eqref{ellipsoid-2}$ 称为**退化的椭球**（*degenerate ellipsoid*），其仿射维数等于 $A$ 的秩。退化的椭球也是凸的。
 
 # 3. 范数球和范数锥
 

source/_posts/2024-06-08-josh-cvx-1-3.md

@@ -18,6 +18,13 @@ categories:
 tags:
   - 凸优化
   - 凸集
+  - 保凸运算
+  - 交集
+  - 仿射函数
+  - 伸缩
+  - 平移
+  - 线性分式
+  - 透视函数
 abbrlink: a4a69a4f
 date: 2024-06-08 23:27:19
 ---
@@ -27,13 +34,17 @@ $
 \newcommand{\bfS}{\mathbf{S}}
 \newcommand{\TT}{\mathrm{T}}
 \newcommand{\H}{\mathcal{H}}
+\newcommand{\E}{\mathcal{E}}
+\newcommand{\P}{\mathcal{P}}
+\def\dom{\mathop{\bf dom}}
+\def\prob{\mathop{\bf prob}}
 $  本文将描述一些保凸运算，利用保凸运算可以使用凸集构造出其他凸集。这些运算与[*Part 1.2 凸集—一些重要的凸集*](https://josh-gao.top/posts/9293b739.html)中描述的凸集的简单例子一起构成了凸集的演算，可以用来确定或构建集合的凸性。
 
 # 1. 交集
 
   交集运算是保凸的：如果 $S_1$ 和 $S_2$ 是凸集，那么 $S_1 \cap S_2$ 也是凸集。这个性质可以扩展到无穷个集合的交：如果对于任意 $\alpha\in A$，$S_\alpha$ 都是凸的，那么 $\displaystyle \bigcap_{\alpha \in A} S_\alpha$ 也是凸集。（子空间、仿射集合和凸锥对与任意交运算也是封闭的。）举一个简单的例子，多面体是半空间和超平面（它们都是凸集）的交集，因而是凸的。
 
-> **举例** 半正定锥 $\bfS^n_+$ 可以表示为，
+> **举例** 半正定锥 $\bfS^n_+$ 可以表示为
 >
 > $$
 > \bigcap_{z\ne 0} \left\{ X \in \bfS^n\ \middle|\ z^\TT Xz \geqslant 0 \right\}
@@ -79,7 +90,7 @@ $$
 
 # 2. 仿射函数
 
-  函数 $f: \bfR^n \to \bfR^m$ 是**仿射**（*affine*）的，如果它是一个线性函数和一个常数的和，即具有 $f(x) = Ax+ b$ 的形式，其中 $A \in  \bfR^{m\times n}$，$b \in \bfR^m$。假设 $S \subseteq \bfR^n$ 是凸的，并且 $f: \bfR^n \to \bfR^m$ 是仿射函数。那么，$S$ 在 f$ 下的象
+  函数 $f: \bfR^n \to \bfR^m$ 是**仿射**（*affine*）的，如果它是一个线性函数和一个常数的和，即具有 $f(x) = Ax+ b$ 的形式，其中 $A \in  \bfR^{m\times n}$，$b \in \bfR^m$。假设 $S \subseteq \bfR^n$ 是凸的，并且 $f: \bfR^n \to \bfR^m$ 是仿射函数。那么，$S$ 在 $f$ 下的象
 
 $$
 f(S) = \left\{ f(x)\ \middle|\ x\in S \right\}
@@ -93,7 +104,7 @@ $$
 
 是凸的。
 
-  两个简单的例子是**伸缩**（*scaling*）和**平移**（*translation*）。如果 $S \subseteq \bfR^n$ 是凸集，$\alpha \in \bfR^n$ 并且 $a \in \bfR^n$，那么，集合 $\alpha S$ 和 $S+a$ 是凸的，其中
+  两个简单的例子是**伸缩**（*scaling*）和**平移**（*translation*）。如果 $S \subseteq \bfR^n$ 是凸集，$\alpha \in \bfR$ 并且 $a \in \bfR^n$，那么，集合 $\alpha S$ 和 $S+a$ 是凸的，其中
 
 $$
 \alpha S = \left\{ \alpha x\ \middle|\ x \in S \right\},\qquad S + a = \left\{ x + a\ \middle|\ x \in S \right\}
@@ -129,6 +140,172 @@ $$
 
 其中 $x\in\bfR^n$，$y_i \in \bfR^m$。$m=0$ 时，部分和给出了 $S_1$ 和 $S_2$的交集；$n=0$ 时，部分和等于集合之和。凸集的部分和是凸集。
 
+> **举例** **多面体**。$\{ x\ |\ Ax \preceq b, Cx = d \}$ 可以表示为非负象限和原点的 Cartesian 乘积在仿射函数 $f(x) = (b -Ax, d - Cx)$ 下的原象：
+>
+> $$
+> \{x\ |\ Ax\preceq b, Cx = d\} = \{ x\ |\ f(x)  \in \bfR^m_+ \times \{0\}\}
+> $$
+
+> **举例** **线性矩阵不等式的解**。条件
+>
+> $$\begin{equation}
+>   A(x) = x_1 A_1 + \cdots + x_nA_n \preceq B
+> \end{equation}$$
+>
+> 称为关于 $x$ 的**线性矩阵不等式**（*Linear Matrix Inequality, LMI*），其中 $B,A_i \in \bfS^m$（注意它与有序线性不等式
+>
+> $$
+> a^\TT x = x_1a_1+\cdots x_na_n \leqslant b
+> $$
+>
+> 的相似性，其中 $b,a_i\in \bfR$。）
+>
+> 线性矩阵不等式的解 $\{ x\ |\ A(x) \preceq B\}$ 是凸集。事实上，它是半正定锥在由 $f(x) = B-A(x)$ 给定的仿射映射 $f: \bfR^n \to \bfS^m$ 下的原象。
+
+> **举例** **双曲锥**。集合
+>
+> $$
+> \{ x\ |\ x^\TT Px \leqslant (c^\TT x) ^2, c^\TT x \geqslant 0 \}
+> $$
+>
+> 是凸集，其中 $P\in\bfS^n_+$，$c\in\bfR$ 这是因为它是二阶锥
+>
+> $$
+> \{ (z,t)\ |\ z^\TT z \leqslant t ^2 , t \geqslant 0 \}
+> $$
+>
+> 在仿射函数 $f(x) = (P^{1/2}x,c^\TT x)$ 下的原象。
+
+> **举例** **椭球**。椭球
+>
+> $$
+> \E = \{ x\ |\ (x-x_c)^\TT P^{-1} (x-x_c) \leqslant 1 \}
+> $$
+>
+> 是单位 Euclid 球 $\{ u\ |\ \|u\|_2 \leqslant 1 \}$ 在仿射映射 $f(u) = P^{1/2}u + x_c$ 下的象， 其中 $P \in \bfS^n_{++}$。（同时也是单位球在仿射映射 $g(x) = P^{-1/2}(x — x_c)$ 下的原象。）
+
+# 3. 线性分式及透视函数
+
+  本节将讨论一类称为**线性分式**（*linear-fractional*）的函数，它比仿射函数更普遍，并且仍然保凸。
+
+## 3.1 透视函数
+
+  定义 $P:\bfR^{n+1}\to\bfR^n$ 为**透视函数**（*perspective function*），其定义域为 $\dom P = \bfR^n \times \bfR_{++}$。（此处的 $\bfR_{++}$ 表示正实数集合，即 $\bfR_{++} = \{ x\in\bfR\ |\ x > 0 \}$。）透视函数对向量进行伸缩（scale），或称为规范化（normalize），使得最后一维分量为1 并舍弃之。
+
+> **注释** 我们用小孔成象来解释透视函数。($\bfR^3$ 中的）小孔照相机由一个不透明的水平面 $x_3 = 0$ 和一个在原点的小孔组成，光线通过这个小孔在 $x_3 = -1$ 呈现出一个水平图像。在相机上方 $x(x_3 > 0)$ 处的一个物体，在相平面的点 $=(x_1/x_3,x_2/x_3,1)$ 处形成一个图像。忽略象点的最后一维分量（因为它恒等于 $-1$），$x$ 处的点的象在象平面上呈现于 $y=-(x_1/x_3,x_2/x_3)$ 处。[图 15](#图15)显示了这个过程。
+>
+> <a id="图15"></a>
+>
+> ![图 15. 透视函数的小孔成象解释。深色的水平直线表示 $\bfR^3$ 中的平面 $x_3 = 0$，除了在原点处有一个小孔外，它是不透光的。平面之上的物体或光源呈现在浅色水平直线所示的象平面 $x_3 = -1$ 上。源位置向其象位置的映射对应于透视函数。](../images/post/2024-06-08-josh-cvx-1-3/2024-06-08-josh-cvx-1-3-150-PinHoleCameraInterpretationOfPerspectiveFuncation.png){width=500px}
+
+&emsp;&emsp;如果 $C \subseteq \dom P$ 是凸集，那么它的象
+
+$$
+P(C) = \{ P(x)\ |\ x\in C \}
+$$
+
+也是凸集。这个结论很直观：通过小孔观察一个凸的物体，可以得到凸的象。为解释这个事实，我们将说明在透视函数作用下，线段将被映射成线段。（也可以这样理解，通过小孔，一条线段的象是一条线段。）假设 $x = (\tilde{x},x_{n+1}), y = (\tilde{y}, y_{n+1}) \in \bfR^{n+1}$，并且 $x_{n+1}>0, y_{n+1}>0$ 。那么，对于 $0 \leqslant \theta \leqslant 1$
+
+$$
+P(\theta x + (1-\theta)y) = \frac{\theta\tilde{x}+ (1-\theta)\tilde{y}}{\theta x_{n+1} + (1-\theta)y_{n+1}} = \mu P(x) + (1-\mu) P(x)
+$$
+
+其中
+
+$$
+\mu = \frac{\theta x_{n+1}}{\theta x_{n+1} + (1-\theta) y_{n+1}}\in[0,1]
+$$
+
+$\theta$ 和 $\mu$ 之间的关系是单调的：当 $\theta$ 在 $0$、$1$ 间变化时（形成线段 $[x,y]$），$\mu$ 也在 $0$、$1$ 间变化（形成线段 $[P(x),P(y)]$。这说明 $P([x,y]) = [P(x),P(y)]$。
+
+&emsp;&emsp;现在假设 $C$ 是凸的，并且有 $C \subseteq \dom P$（即对于所有 $x\in C$，$x_{n+1} > 0$) 及 $x,y\in C$。为显示 $P(C)$ 的凸性，需要说明线段 $[P(x), P(y)]$ 在 $P(C)$ 中。这条线段是线段 $[x,y]$ 在 $P$ 的象，因而属于 $P(C)$。
+
+&emsp;&emsp;一个凸集在透视函数下的原象也是凸的：如果 $C\subseteq \bfR^n$ 为凸集，那么
+
+$$
+P^{-1}(C) = \{ (x,t)\in\bfR^{n+1}\ |\ x/t\in C, t > 0 \}
+$$
+
+是凸集。为证明这点，假设 $(x,t)\in P^{-1}(C), (y,s)\in P^{-1}(C), 0 \leqslant \theta \leqslant 1$。我们需要说明
+
+$$
+\theta(x,t) + (1-\theta)(y,s) \in P^{-1} (C)
+$$
+
+即
+
+$$
+\frac{\theta x + (1-\theta)y}{\theta t + (1-\theta)s} = \mu (x/t) + (1-\mu)(y/s)
+$$
+
+其中
+
+$$
+\mu = \frac{\theta t}{\theta t + (1-\theta)s} \in [0,1]
+$$
+
+## 3.2 线性分式函数
+
+&emsp;&emsp;**线性分式函数**（*linear-fractional function*）由透视函数和仿射函数复合而成。设 $g:\bfR^n \to \bfR^{m+1}$ 是仿射的，即
+
+$$\begin{equation}\label{AffineFunction}
+  g(x) = \left[\begin{array}{c}
+    A \\ c^\TT
+  \end{array}\right]x + \left[\begin{array}{c}
+    b \\ d
+  \end{array}\right]
+\end{equation}$$
+
+其中 $A \in \bfR ^{m\times n}, b \in \bfR^m, c \in \bfR^n$ 并且 $d\in\bfR^n$。则由 $f =P\circ g$ 给出的函数 $f:\bfR^n \to \bfR^m$
+
+$$\begin{equation}\label{LinearFractionalFunction}
+  f(x) = (Ax+b)/(c^\TT x + d),\qquad \dom f = \{x\ |\ c^\TT x + d > 0\}
+\end{equation}$$
+
+称为**线性分式**（*linear-fractional*）（或**投射**（*projective*））函数。如果 $c = 0, d > 0$，则 $f$ 的定义域为 $\bfR^n$ 并且 $f$ 是仿射函数。因此，我们可以将仿射和线性函数视为特殊的线性分式函数。
+
+> **注释**&emsp;**投射解释**。可以很方便地将一个线性分式函数表示为：将矩阵
+>
+> $$\begin{equation}
+>   Q = \left[\begin{array}{c}
+>   A & b \\ c^\TT & d
+> \end{array}\right] \in \bfR^{(m+1)\times (n+1)}
+> \end{equation}$$
+>
+> 作用于（即左乘）点 $(x,1)$，得到 $(Ax + b,c^\TT x + d)$；然后将所得结果做伸缩变换或归一化，以使得其最后一个分量为一，得到 $(f(x), 1)$。
+>
+> 也可以从儿何上进行解释，即这个表达式将 $\bfR^n$ 与 $\bfR^{n+1}$ 空间上的一组射线联系了起来。也就是说，对于 $\bfR^n$ 空间的一个点 $z$，我们可以构造一个 $\bfR^{n+1}$ 空间的（开）射线 $P(z) = \{t(z,1)\ |\ t > 0\}$。这条射线上每个点的最后一个分量均是正值。反之， $\bfR^{n+1}$ 空间中每条以原点为顶点并且最后一个分量为正值的射线均可以由一些 $v\in\bfR^n$ 表示为 $\P(v) = \{t(v, 1)\ |\ t \geqslant 0\}$。$\P$ 表示了 $\bfR^n$ 与最后一个分量为正的射线之间的（投射）关系，这种关系是一一对应和满的。
+>
+> 线性分式函数 $\eqref{LinearFractionalFunction}$ 可以表示为
+>
+> $$
+> f(x) = \P^{-1}(Q\P(x))
+> $$
+>
+> 因此，从 $x\in\dom f$ 出发，即由一个满足 $c^\TT x +d > 0$ 的点，可以得到 $\bfR^{n+1}$ 空间的一条射线 $\P(x)$。将线性变换矩阵 $Q$ 作用于这条射线，就可以得到另一条射线 $Q\P(x)$。因为 $x \in \dom f$, 这条射线的最后一个分量为正。最后，我们也可以通过逆投射变换恢复出 $f(x)$。
+
+&emsp;&emsp;类似于透视函数，线性分式函数也是保凸的。如果 $C$ 是凸集并且在 $f$ 的定义域中（即任意 $x\in C$ 满足 $c^\TT x+d > 0$），那么 $C$ 的象 $f(C)$ 也是凸集。根据前述的结果可以直接得到这个结论： $C$ 在仿射映射 $\eqref{AffineFunction}$ 下的象是凸的，并且在透视函数 $P$ 下的映射（即 $f(C)$）是凸的。类似地，如果 $C \subseteq \bfR^m$ 是凸集，那么其原象 $f^{-1}(C)$ 也是凸的。
+
+> **举例**&emsp;**条件概率**。设 $u$ 和 $v$ 是分别在 $\{1, \cdots, n\}$ 和 $\{1, \cdots, m\}$ 中取值的随机变量，并且 $p_ij$ 表示概率 $\prob(u = i,v = j)$。那么条件概率 $f_{ij} = \prob(u = i\ |\ v = j)$ 由下式给出
+>
+> $$
+> f_{ij} = \frac{p_{ij}}{\displaystyle\sum_{k=1}^n p_{kj}}
+> $$
+>
+> 因此，$f$ 可以通过一个线性分式映射从 $p$ 得到。
+>
+> 可以知道，如果 $C$ 是一个关于 $(u,v)$ 的联合密度的凸集，那么相应的 $u$ 的条件密度（给定 $v$）的集合也是凸集。
+
+&emsp;&emsp;[图 16](#图16) 表示了集合 $C\subseteq \bfR^2$ 及其在下面的线性分式函数下的象
+
+$$
+f(x) = \frac{1}{x_1 + x_2 + 1} x,\qquad \dom f = \{(x_1,x_2)\ |\ x_1+x_2+1>0\}
+$$
+
+<a id="图15"></a>
+
+![图 16. **左**：集合 $C\subseteq \bfR^2$。虚线显示了线性分式函数 $f(x) = x/(x_1 + x_2 + 1)$ 的定义域的边界，其中 $\dom f = \{(x_1,x_2)\ |\ x_1+x_2+1>0\}$。**右**：$C$ 在 $f$ 下的象。虚线显示了 $f^{-1}$ 的定义域的边界。](../images/post/2024-06-08-josh-cvx-1-3/2024-06-08-josh-cvx-1-3-160-ASetAndItsImageUnderLFF.png){width=800px}
+
 # 参考文献
 
 1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.

source/_posts/2024-06-12-josh-cvx-1-4.md

@@ -0,0 +1,165 @@
+---
+title: Josh's Note — 凸优化<br>Part 1.4 凸集—广义不等式
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: false
+  wrap: true
+  expand_all: true
+  max_depth: 4
+categories:
+  - - Josh 的学习笔记
+    - 凸优化
+    - 凸集
+  - - 数学
+    - 凸优化
+tags:
+  - 凸优化
+  - 凸集
+  - 广义不等式
+  - 正常锥
+  - 最小元
+  - 极小元
+  - 最大元
+  - 极大元
+abbrlink: aff3a091
+date: 2024-06-12 16:49:26
+---
+
+# 1. 正常锥与广义不等式
+
+$
+\newcommand{\bfR}{\mathbf{R}}
+\newcommand{\bfS}{\mathbf{S}}
+\newcommand{\E}{\mathcal{E}}
+\newcommand{\TT}{\mathrm{T}}
+\def\iint{\mathop{\bf int}}
+$&emsp;&emsp;称锥 $K \subseteq \bfR^n$ 即为**正常锥**（*proper cone*），如果它满足下列条件
+
+- K 是凸的。
+
+- K 是闭的。
+
+- K 是**实**（*solid*）的，即具有非空内部。
+
+- K 是**尖**（*pointed*）的，即不包含直线（或者等价地，$x\in K, -x \in K \Longrightarrow x = 0$）。
+
+正常锥 $K$ 可以用来定义**广义不等式**（*generalized inequality*），即 $\bfR^n$ 上的偏序关系。这种偏序关系和 $\bfR$ 上的标准序有很多相同的性质。用正常锥 $K$ 可以定义 $\bfR^n$ 上的偏序关系如下
+
+$$
+x \preceq_K y \Longleftrightarrow y - x \in K
+$$
+
+$y \prec_K x$ 也可以写为 $x \succeq_K y$。类似地，定义相应的严格偏序关系为
+
+$$
+x \prec_K y \Longleftrightarrow y - x \in \iint K
+$$
+
+并且可以同样地定义 $x \succ_K y$。（为将广义不等式 $\preceq_K$ 与严格的广义不等式区分开，有时也称 $\preceq_K$ 为不严格的广义不等式）。
+
+<!-- more -->
+
+&emsp;&emsp;当 $K = \bfR_+$ 时，偏序关系 $\preceq_K$ 就是通常意义上 $\bfR$ 中的序 $\leqslant$ 相应地，严格偏序关系 $\prec_K$ 与 $\bfR$ 上的严格序 $<$ 相同。因此，广义不等式包含了 $\bfR$ 上的（不严格和严格）不等式，它是广义不等式的一种特殊情况。
+
+> **举例**&emsp;**非负象限及分量不等式**。非负象限 $K = \bfR^n_+$ 是一个正常锥。相应的广义不等式 $\preceq_K$ 对应于向量间的分量不等式，即 $x \preceq_K y$ 等价于 $x_i \leqslant y_i, i = 1,\cdots,n$。相应地，其严格不等式对应于严格的分量不等式，即 $x \prec_K y$ 等价于 $x_i < y_i, i = 1,\cdots,n$。
+>
+> 我们将常常使用对应于非负象限的不严格和严格的偏序关系，因此省略下标 $\bfR^n_+$。当 $\preceq$ 或 $\prec$ 出现在向量间的时候，该符号应被理解为分量不等式。
+
+> **举例**&emsp;**半正定锥和矩阵不等式**。半正定锥是 $S^n$ 空间中的正常锥，相应的广义不等式 $\preceq_K$ 就是通常的矩阵不等式，即 $X \preceq_K Y$ 等价于 $Y - X$ 为半正定矩阵。（在 $S^n$ 中）$S^n_+$ 的内部由正定矩阵组成，因此严格广义不等式也等同于通常的对称矩阵的严格不等式，即 $X \prec_K Y$ 等价于 $Y - X$ 为正定矩阵。
+>
+> 这里，也是由于经常使用这种偏序关系，因此省略其下标，即对于对称矩阵，我们将广义不
+等式简写为 $X \preceq Y$ 或 $X \prec Y$, 它们表示关于半正定锥的广义不等式。
+
+> **举例**&emsp;**$[0, 1]$ 上非负的多项式锥**。$K$ 定义如下
+>
+> $$\begin{equation}
+> K = \{ c\in\bfR^n\ |\ c_1 + c_2 t + \cdots + c_n t^{n-1} \geqslant 0\ 对于\ t \in [0,1]\}
+> \end{equation}$$
+>
+> 即 $K$ 是 $[0, 1]$ 上最高 $n - 1$ 阶的非负多项式（系数）锥。可以看出 $K$ 是一个正常锥，其内部是 $[0, 1]$ 上为正的多项式的系数集合。
+>
+> 两个向量 $c, d \in \bfR^n$ 满足 $c \preceq_K d$ 的充要条件是，对于所有 $t \in [0, 1]$ 有
+>
+> $$
+> c_1 + c_2 t + \cdots + c_n t^{n-1} \leqslant d_1 + d_2 t + \cdots + d_n t^{n-1}
+> $$
+
+## 1.1 广义不等式的性质
+
+&emsp;&emsp;广义不等式 $\preceq_K$ 满足许多性质，例如
+
+- **$\preceq_K$ 对于加法是保序的**：如果 $x \preceq_K y$ 并且 $u \preceq_K v$，那么 $x + u \preceq_K y + v$。
+- **$\preceq_K$ 具有传递性**：如果 $x \preceq_K y$ 并且 $y \preceq_K z$，那么 $x \preceq_K z$。
+- **$\preceq_K$ 对于非负数乘是保序的**：如果 $x \preceq_K y$ 并且 $\alpha \geqslant 0$，那么 $\alpha x \preceq_K \alpha y$。
+- **$\preceq_K$ 是自反的**：$x \preceq_K x$。
+- **$\preceq_K$ 是反对称的**：如果 $x \preceq_K y$ 并且 $y \preceq_K x$，那么 $x = y$。
+- **$\preceq_K$ 对于极限运算是保序的**：如果对于 $i = 1,2,\dots$ 均有 $x_i \preceq_K y_i$，当 $i \to \infty$ 时，有 $x_i \to x$ 和 $y_i \to y$，那么 $x \preceq_K y$。
+
+相应的广义不等式 $\prec_K$ 也满足一些性质，例如
+
+- 如果 $x \prec_K y$，那么 $x \preceq_K y$。
+- 如果 $x \prec_K y$ 并且 $u \prec_K v$, 那么 $x + u \prec_K y + v$。
+- 如果 $x \prec_K y$ 并且 $\alpha > 0$，那么 $\alpha x \prec_K \alpha y$。
+- $x \nprec_K x$。
+- 如果 $x \prec_K y$，那么对于足够小的 $u$ 和 $v$ 有 $x + u \prec_K y + v$。
+
+这些性质可以从 $\preceq_K$ 和 $\prec_K$ 的定义以及正常锥的性质中直接得到。
+
+# 2. 最小与极小元
+
+&emsp;&emsp;广义不等式的符号（$\preceq_K$，$\prec_K$）似乎表明它们与 $\bfR$ 上的普通不等式（$\leqslant$，$<$）有着相同的性质。虽然普通不等式的许多性质对于广义不等式确实成立，但很多重要的性质并不如此。最明显的区别在于，$\bfR$ 上的 $\leqslant$ 是一个**线性序**（*linear ordering*），即任意两点都是**可比的**（*comparable*），也就是说 $x\leqslant y$ 和 $y \leqslant x$ 二者必居其一。这个性质对于其他广义不等式并不成立。这导致了最小、最大这些概念在广义不等式环境下变得更加复杂。本节将对此进行简要的
+讨论。
+
+&emsp;&emsp;如果对于每个 $y \in S$，均有 $x \preceq_K y$，称 $x\in S$ 是 $S$（关于广义不等式 $\preceq_K$）的**最小元**（*minimum element*）。类似地，我们可以定义关于广义不等式的**最大元**（**maximum element**）。如果一个集合有最小（或最大）元，那么它们是唯一的。
+
+&emsp;&emsp;相对应的概念是**极小元**（*minimal element*）。如果 $y \in S$，$y \preceq_K x$ 可以推得 $y=x$，那么称 $x\in S$ 是 $S$ 上（关于广义不等式 $\preceq_K$）的**极小元**（*minimal element*）。同样地，可以定义**极大元**（*maximal element*）。一个集合可以有多个极小（或极大）元。
+
+&emsp;&emsp;用简单的集合符号，我们可以对最小元和极小元进行描述。元素 $x\in S$ 是 $S$ 中的一个最小元，当且仅当
+
+$$
+S \subseteq x + K
+$$
+
+这里 $x+K$ 表示可以与 $x$ 相比并且大于或等于（根据 $\preceq_K$）$x$ 的所有元素。元素 $x\in S$ 是极小元，当且仅当
+
+$$
+(x - K) \cap S = \{x\}
+$$
+
+这里 $x-K$ 表示可以与 $x$ 相比并且小于或等于（根据立$\preceq_K$）$x$ 的所有元素，它与 $S$ 的唯一共同点即是 $x$。
+
+&emsp;&emsp;$K=\bfR^n$ 导出的实际上就是 $\bfR$ 上一般的序。此时，极小和最小的概念是一致的，也符合集合最小元素的通常定义。
+
+> **举例**&emsp;考虑锥 $\bfR^2_+$，它导出的是 $\bfR^2$ 上的关于分量的不等式。对此，可以给出一些关于极小元和最小元的简单的几何描述。不等式 $x \preceq y$ 的含义是 $y$ 在 $x$ 之上、之右。$x \in S$是集合 $S$ 的最小元，表明 $S$ 的其他所有点都在它之上、之右。而 $x$ 为集合 $S$ 的极小元，是指 $S$ 中没有任何一个点在 $x$ 之下、之左，其区别可见[图 17](#图17)。
+>
+> <a id="图17"></a>
+>
+> ![图 17. **左**：集合出关于 $\bfR^2$ 上的分量不等式有最小元 $x_1$。集合 $x_1+K$ 由浅色阴影所示；$x_1$ 是 $S_1$ 的最小元，因为 $S_1 \subseteq x_1 + K$。**右**：点 $x_2$ 是 $S_2$ 的极小元。集合 $x_2-K$ 由浅色阴影所示。点 $x_2$ 是极小的，因为 $x_2-K$ 和 $S_2$ 只相交于 $x_2$](../images/post/2024-06-12-josh-cvx-1-4/2024-06-12-josh-cvx-1-4-170-MinimalAndMinimum.png){width=700px}
+
+> **举例**&emsp;**对称矩阵集合中的最小元和极小元**。用 $A \in \bfS^n_{++}$ 表示一个圆心在原点的椭圆，即
+>
+> $$
+> \E_A = \{ x\ |\ x^\TT A^{-1} x \leqslant 1 \}
+> $$
+>
+> 我们知道 $A \preceq B$ 等价于 $\E_A \subseteq \E_B$。
+>
+> 给定 $v_1,\cdots,v_k \in \bfR^n$ 并定义
+>
+> $$
+> S = \{ P \in \bfS ^n_{++}\ |\ v_i^\TT P^{-1} v_i \leqslant 1,\ i = 1,\dots k \}
+> $$
+>
+> 它对应于包含了点 $v_1,\cdots,v_k$ 的椭圆的集合。集合 $S$ 没有最小元：对于任意包含点$v_1,\cdots,v_k$ 的椭圆，总可以找到另一个包含这些点但不可比的椭圆。一个椭圆是极小的，如果它包含这些点但没有更小的椭圆也包含这些点。[图 18](#图18)显示了 $\bfR^2$ 上 $k = 2$ 时的一个例子。
+>
+> <a id="图18"></a>
+>
+> ![图 18. $\bfR^2$ 中的三个椭球，它们均以原点（图中较低的点所示）为中心，并且包含较高处的点。椭球 $\E_1$ 不是极小的，因为存在包含这些点并且更小的椭球（例如，$\E_3$）。由于同样的原因，$\E_3$ 也不是极小的。椭球 $\E_2$ 是极小的，因为没有其他（以原点为中心）包含这些点并被 $\E_2$ 包含的椭球。](../images/post/2024-06-12-josh-cvx-1-4/2024-06-12-josh-cvx-1-4-180-ThreeEllipsoids.png){width=300px}
+
+# 参考文献
+
+1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.
+2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013.