diff --git a/source/_posts/2024-06-12-josh-cvx-1-4.md b/source/_posts/2024-06-12-josh-cvx-1-4.md index 0678ed2..5430bb0 100644 --- a/source/_posts/2024-06-12-josh-cvx-1-4.md +++ b/source/_posts/2024-06-12-josh-cvx-1-4.md @@ -39,11 +39,8 @@ $ $  称锥 $K \subseteq \bfR^n$ 即为**正常锥**（*proper cone*），如果它满足下列条件 - K 是凸的。 - - K 是闭的。 - - K 是**实**（*solid*）的，即具有非空内部。 - - K 是**尖**（*pointed*）的，即不包含直线（或者等价地，$x\in K, -x \in K \Longrightarrow x = 0$）。 正常锥 $K$ 可以用来定义**广义不等式**（*generalized inequality*），即 $\bfR^n$ 上的偏序关系。这种偏序关系和 $\bfR$ 上的标准序有很多相同的性质。用正常锥 $K$ 可以定义 $\bfR^n$ 上的偏序关系如下 diff --git a/source/_posts/2024-06-12-josh-cvx-1-5.md b/source/_posts/2024-06-12-josh-cvx-1-5.md new file mode 100644 index 0000000..5ece4ec --- /dev/null +++ b/source/_posts/2024-06-12-josh-cvx-1-5.md @@ -0,0 +1,186 @@ +--- +title: Josh's Note — 凸优化
Part 1.5 凸集—分离与支撑超平面 +mathjax: true +comments: true +copyright: true +toc: + enable: true + number: false + wrap: true + expand_all: true + max_depth: 4 +categories: + - - Josh 的学习笔记 + - 凸优化 + - 凸集 + - - 数学 + - 凸优化 +tags: + - 凸优化 + - 凸集 +abbrlink: bc5bb04 +date: 2024-06-12 18:29:40 +--- + +# 1. 超平面分离定理 + +$ +\newcommand{\bfR}{\mathbf{R}} +\newcommand{\TT}{\mathrm{T}} +\newcommand{\d}{\mathrm{d}} +\def\dist{\mathop{\bf dist}} +\def\iint{\mathop{\bf int}} +\def\bd{\mathop{\bf bd}} +\def\cl{\mathop{\bf cl}} +$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\ |\ a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。 + + + +![图 19. 超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了两个不相交的凸集 $C$ 和 $D$。仿射函数 $a^\TT x-b$ 在 $C$ 上非正而在 $D$ 上非负。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png){width=400px} + + + +## 1.1 超平面分离定理的证明 + +  这里我们考虑一个特殊的情况下的证明。假设 $C$ 和 $D$ 的（Euclid）**距离**（*distance*）为正，这里的距离定义为 + +$$ +\dist(C,D) = \inf\{ \|u,v\|_2\ |\ u \in C,\ v \in D\} +$$ + +并且存在 $c\in C$ 和 $d\in D$ 达到这个最小距离，即 $ \| c- d \|_2= \dist(C, D)$ 。（这些条件是可以被满足的，例如当 $C$ 和 $D$ 是闭的并且其中之一是有界的。） + +  定义 + +$$ +a = d - c,\qquad b = \frac{\|d\|_2^2 - \|c\|_2^2}{2} +$$ + +我们将显示仿射函数 + +$$ +f(a) = a^\TT x - b = (d-c)^\TT(x - (1/2)(d+c)) +$$ + +在 $C$ 中非正而在 $D$ 中非负，即超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了 $C$ 和 $D$。这个超平面与连接 $c$ 和 $d$ 之间的线段相垂直并且穿过其中点，如[图 20](#图20) 所示。 + + + +![图 20. 两个凸集间分离超平面的构造。$c \in C$ 和 $d\in D$ 是两个集合中最靠近彼此的一个点对。分离超平面垂直并且等分 $c$ 和 $d$ 之间的线段。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-200-SeparateHyperplane.png){width=400px} + +  首先证明 $f$ 在 $D$ 中非负。关于 $f$ 在 $C$ 中非正的证明是相似的（只需将 $C$ 和 $D$ 交换并考虑 $-f$ 即可）。假设存在一个点 $u\in D$，并且 + +$$\begin{equation}\label{ufunction} + f(u) = (d-c)^\TT (u - (1/2)(d+c)) < 0 +\end{equation}$$ + +可以将 $f(u)$ 表示为 + +$$ +f(u) = (d-c)^\TT (u - d + (1/2)(d-c)) = (d-c)^\TT(u-d) + (1/2) \| d-c \|_2^2 +$$ + +可以看出式 $\eqref{ufunction}$ 意味着 $(d-c)^\TT(u-d) < 0$。于是，观察到 + +$$ +\left. \frac{\d}{\d t} \|d = t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0 +$$ + +因此，对于足够小的 $t>O$ 及 $t\leqslant 1$，有 + +$$ +\| d + t(u-d) - c \|_2 < \| d -c \|_2 +$$ + +即点 $d+t(u-d)$ 比 $d$ 更靠近 $c$。因为 $D$ 是包含 $d$ 和 $u$ 的凸集，我们有 $d+t(u-d) \in D$。但这是不可能的，因为根据假设，$d$ 应当是 $D$ 中离 $C$ 最近的点。 + +> **举例** **仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\ |\ u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。 +> +> 这里 $a^\TT x \geqslant b$ 对于所有 $x \in D$ 均成立，表明对于任意 $u \in \bfR^m$ 均有 $a^\TT Fu \geqslant b - a^\TT g$。但是在 $\bfR^m$ 上，只有当一个线性函数为零时，它才是有界的。因此，可以推知 $a^\TT F=0$ （并且因此有 $b \leqslant a^\TT g$）。 +> +> 所以，我们可知存在 $a \ne 0$ 使得 $F^\TT a =0$ 和 $a^\TT x \leqslant a^\TT g$ 对于所有 $x\in C$ 均成立。 + +## 1.2 严格分离 + +  如果之前构造的分离超平面满足更强的条件，即对于任意 $x\in C$ 有 $a^\TT x < b$ 并且对于任意 $x\in D$ 有 $a^\TT x > b$, 则称其为集合 $C$ 和 $D$ 的**严格分离**（*strict separation*）。简单的例子就可以看出，对于一般的情况，不相交的凸集并不一定能够被超平面严格分离（即使集合是闭集）。但是，在很多特殊的情况下，可以构造严格分离。 + +> **举例** **点和闭凸集的严格分离**。令 $C$ 为闭凸集，而 $x_0 \notin C$，那么存在将 $x_0$ 与 $C$ 严格分离的超平面。 +> +> 为说明这一点，需要注意，对于足够小的 $c > 0$，存在两个不相交的集合 $C$ 和 $B(x_0, \epsilon)$。根据超平面分离定理，存在 $a \ne 0$ 和 $b$，使得对于任意 $x\in C$ 有 $a^\TT x \leqslant b$；对于任意 $x \in B(x_0, \epsilon)$ 有 $a^\TT x \geqslant b$。 +> +> 利用 $B(x_0, \epsilon) = \{ x_0 + u\ |\ \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为 +> +> $$ +> a^\TT (x_0 + u) \geqslant b\ 对于所有\ \|u\|_2 \leqslant \epsilon +> $$ +> +> $u = -\epsilon a / \|a\|_2$ 极小化了上式的左端，代入可得 +> +> $$ +> a^\TT x_0 - \epsilon \| a \|_2 \geqslant b +> $$ +> +> 所以，仿射函数 +> +> $$ +> f(x) = a^\TT x - b - \epsilon \|a\|_2/2 +> $$ +> +> 在 $C$ 上是负的，而在 $x_0$ 点是正的。 +> +> 作为一个直接的结果，我们可以得到前面已提及的事实：一个闭凸集是包含它的所有半空间的交集。事实上，令 $C$ 为闭和凸的，$S$ 为所有包含 $C$ 的半空间。显然，$x\in C \Rightarrow x \in S$。为证明反方向，假设存在 $x\in S$ 并且 $x \notin C$。根据严格分离的结果，存在一个将 $x$ 与 $C$ 严格分离的超平面，即存在一个包含 $C$ 但不包含 $x$ 的半空间。也就是说，$x \notin S$。 + +## 1.3 超平面分离定理的逆定理 + +  超平面分离定理的逆定理（即分离超平面的存在表明 $C$ 和 $D$ 不相交）是不成立的，除非在凸性之外再给 $C$ 或 $D$ 附加其他约束。 + +> **反例** 考虑 $C = D = \{0\} \subseteq \bfR$，超平面 $x=0$ 可以分离 $C$ 和 $D$。 + +  通过给 $C$ 和 $D$ 增加一些条件，可以得到超平面分离定理的多种逆定理。作为一个简单的例子，设 $C$ 和 $D$ 是凸集，$C$ 是开集，如果存在一个仿射函数 $f$，它在 $C$ 中非正而在 $D$ 中非负，那么 $C$ 和 $D$ 不相交。（为说明此结论，首先可知 $f$ 在 $C$ 上是负的。否则，如果 $f$ 在 $C$ 中的某一点为零，那么 $f$ 在这个点附近会取得正值，这与前述矛盾。因此 $C$ 和 $D$ 一定是不相交的，因为 $f$ 在 $C$ 中为负，而在 $D$ 中非负。）将逆定理与超平面分离定理相结合，我们可以得到下面的结论：任何两个凸集 $C$ 和 $D$，如果其中至少有一个是开集，那么当且仅当存在分离超平面时，它们不相交。 + +> **举例** **严格线性不等式的择一定理**。我们导出严格线性不等式 +> +> $$\begin{equation}\label{StrictLinearInequality} +> Ax \prec b +> \end{equation}$$ +> +> 有解的充要条件。该不等式不可行的充要条件是（凸）集 +> +> $$ +> C = \{ b = Ax\ |\ x \in \bfR^n\},\qquad D = \bfR^m_{++} = \{ y \in \bfR^m\ |\ y \succ 0 \} +> $$ +> +> 不相交。集合 $D$ 是开集，而 $C$ 是仿射集合。根据前述的结论，$C$ 和 $D$ 不相交的充要条件是，存在分离超平面，即存在非零的 $\lambda \in \bfR^m$ 和 $\mu \in \bfR$ 使得 $C$ 中 $\lambda^\TT y \leqslant \mu$ 而 $D$ 中 $\lambda^\TT y \geqslant \mu$。 +> +> 这些条件可以被简化。第一个条件意味着对于所有 $x$ 都有 $\lambda^TT (b - Ax) \leqslant \mu$。这表明 $A^\TT \lambda = 0$，$\lambda^\TT b \leqslant \mu$。第二个不等式意味着 $\lambda^\TT y \geqslant \mu$ 对于所有 $y \succ 0$ 均成立。这表明 $\mu \leqslant 0$ 且 $\lambda \preceq 0$，$\lambda\ne 0$。 +> +> 将这些结果放在一起，我们可以得知严格不等式组 $\eqref{StrictLinearInequality}$ 无解的充要条件是存在 $\lambda \in \bfR^m$ 使得 +> +> $$\begin{equation}\label{IFFCondition} +> \lambda = 0,\qquad \lambda\succeq 0,\qquad A^\TT \lambda = 0,\qquad \lambda^\TT b \leqslant 0 +> \end{equation}$$ +> +> 这些不等式和等式关于 $\lambda\in\bfR^m$ 也是线性的。我们称式 $\eqref{StrictLinearInequality}$ 和式 $\eqref{IFFCondition}$ 构成一对**择一选择**（alternatives）：对于任意的 $A$ 和 $b$，两者中仅有一组有解。 + +# 2. 支撑超平面 + +  设 $C \subseteq \bfR^n$ 而 $x_0$ 是其边界 $\bd C$ 上的一点，即 + +$$ +x_0 \in \bd C = \cl C\ \backslash\ \iint C +$$ + +如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\ |\ a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。 + + + +![图 21. 超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 在 $x_0$ 处支撑 $C$。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png){width=400px} + +  一个基本的结论，称为**支撑超平面定理**（*supporting hyperplane theorem*），表明对于任意非空的凸集 $C$ 和任意 $x_0 \in \bd C$，在 $x_0$ 处存在 $C$ 的支撑超平面。支撑超平面定理从超平面分离定理很容易得到证明。需要区分两种情况。如果 $C$ 的内部非空，对于 $\{x_0\}$ 和 $\iint C$ 应用超平面分离定理可以直接得到所需的结论。如果 $C$ 的内部是空集，则 $C$ 必处于小于 $n$ 维的一个仿射集合中，并且任意包含这个仿射集合的超平面一定包含 $C$ 和 $x_0$，这是一个（平凡的）支撑超平面。 + +  支撑超平面定理也有一个不完全的逆定理：如果一个集合是闭的，具有非空内部，并且其边界上每个点均存在支撑超平面，那么它是凸的。 + +# 参考文献 + +1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004. +2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013. diff --git a/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png new file mode 100644 index 0000000..9f8261b Binary files /dev/null and b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png differ diff --git a/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-200-SeparateHyperplane.png b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-200-SeparateHyperplane.png new file mode 100644 index 0000000..f499fbb Binary files /dev/null and b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-200-SeparateHyperplane.png differ diff --git a/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png new file mode 100644 index 0000000..2286afe Binary files /dev/null and b/source/images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png differ