josh/josh-blog-source
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

new post cvx-1.6, update cvx series

Browse Source
This commit is contained in:
josh
2024-06-13 22:39:02 +08:00
parent ade0322aa9
commit 565bdaaefd
12 changed files with 308 additions and 94 deletions
Download Patch File Download Diff File Expand all files Collapse all files
source/_posts/2024-06-12-josh-cvx-1-5.md
+10 -10
View File
@@ -32,11 +32,11 @@ $
\def\iint{\mathop{\bf int}}
\def\bd{\mathop{\bf bd}}
\def\cl{\mathop{\bf cl}}
$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\ |\ a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。
$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\mid a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。
<a id="图19"></a>
![图 19. 超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了两个不相交的凸集 $C$ 和 $D$。仿射函数 $a^\TT x-b$ 在 $C$ 上非正而在 $D$ 上非负。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png){width=400px}
![图 19. 超平面 $\{ x\mid a^\TT x = b \}$ 分离了两个不相交的凸集 $C$ 和 $D$。仿射函数 $a^\TT x-b$ 在 $C$ 上非正而在 $D$ 上非负。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-190-Hyperplane.png){width=400px}
<!-- more -->
@@ -45,7 +45,7 @@ $&emsp;&emsp;本节将阐述一个在之后非常重要的想法：用超平面
&emsp;&emsp;这里我们考虑一个特殊的情况下的证明。假设 $C$ 和 $D$ 的（Euclid）**距离**（*distance*）为正，这里的距离定义为
$$
\dist(C,D) = \inf\{ \|u,v\|_2\ |\ u \in C,\ v \in D\}
\dist(C,D) = \inf\{ \|u,v\|_2\mid u \in C,\ v \in D\}
$$
并且存在 $c\in C$ 和 $d\in D$ 达到这个最小距离，即 $ \| c- d \|_2= \dist(C, D)$ 。（这些条件是可以被满足的，例如当 $C$ 和 $D$ 是闭的并且其中之一是有界的。）
@@ -62,7 +62,7 @@ $$
f(a) = a^\TT x - b = (d-c)^\TT(x - (1/2)(d+c))
$$
在 $C$ 中非正而在 $D$ 中非负，即超平面 $\{ x\ |\ a^\TT x = b \}$ 分离了 $C$ 和 $D$。这个超平面与连接 $c$ 和 $d$ 之间的线段相垂直并且穿过其中点，如[图 20](#图20) 所示。
在 $C$ 中非正而在 $D$ 中非负，即超平面 $\{ x\mid a^\TT x = b \}$ 分离了 $C$ 和 $D$。这个超平面与连接 $c$ 和 $d$ 之间的线段相垂直并且穿过其中点，如[图 20](#图20) 所示。
<a id="图20"></a>
@@ -83,7 +83,7 @@ $$
可以看出式 $\eqref{ufunction}$ 意味着 $(d-c)^\TT(u-d) < 0$。于是，观察到
$$
\left. \frac{\d}{\d t} \|d = t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0
\left. \frac{\d}{\d t} \|d + t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0
$$
因此，对于足够小的 $t>O$ 及 $t\leqslant 1$，有
@@ -94,7 +94,7 @@ $$
即点 $d+t(u-d)$ 比 $d$ 更靠近 $c$。因为 $D$ 是包含 $d$ 和 $u$ 的凸集，我们有 $d+t(u-d) \in D$。但这是不可能的，因为根据假设，$d$ 应当是 $D$ 中离 $C$ 最近的点。
> **举例**&emsp;**仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\ |\ u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。
> **举例**&emsp;**仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\mid u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。
>
> 这里 $a^\TT x \geqslant b$ 对于所有 $x \in D$ 均成立，表明对于任意 $u \in \bfR^m$ 均有 $a^\TT Fu \geqslant b - a^\TT g$。但是在 $\bfR^m$ 上，只有当一个线性函数为零时，它才是有界的。因此，可以推知 $a^\TT F=0$ （并且因此有 $b \leqslant a^\TT g$）。
>
@@ -108,7 +108,7 @@ $$
>
> 为说明这一点，需要注意，对于足够小的 $c > 0$，存在两个不相交的集合 $C$ 和 $B(x_0, \epsilon)$。根据超平面分离定理，存在 $a \ne 0$ 和 $b$，使得对于任意 $x\in C$ 有 $a^\TT x \leqslant b$；对于任意 $x \in B(x_0, \epsilon)$ 有 $a^\TT x \geqslant b$。
>
> 利用 $B(x_0, \epsilon) = \{ x_0 + u\ |\ \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为
> 利用 $B(x_0, \epsilon) = \{ x_0 + u\mid \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为
>
> $$
> a^\TT (x_0 + u) \geqslant b\ 对于所有\ \|u\|_2 \leqslant \epsilon
@@ -147,7 +147,7 @@ $$
> 有解的充要条件。该不等式不可行的充要条件是（凸）集
>
> $$
> C = \{ b = Ax\ |\ x \in \bfR^n\},\qquad D = \bfR^m_{++} = \{ y \in \bfR^m\ |\ y \succ 0 \}
> C = \{ b = Ax\mid x \in \bfR^n\},\qquad D = \bfR^m_{++} = \{ y \in \bfR^m\mid y \succ 0 \}
> $$
>
> 不相交。集合 $D$ 是开集，而 $C$ 是仿射集合。根据前述的结论，$C$ 和 $D$ 不相交的充要条件是，存在分离超平面，即存在非零的 $\lambda \in \bfR^m$ 和 $\mu \in \bfR$ 使得 $C$ 中 $\lambda^\TT y \leqslant \mu$ 而 $D$ 中 $\lambda^\TT y \geqslant \mu$。
@@ -170,11 +170,11 @@ $$
x_0 \in \bd C = \cl C\ \backslash\ \iint C
$$
如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\ |\ a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。
如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\mid a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。
<a id="图21"></a>
![图 21. 超平面 $\{ x\ |\ a^\TT x = a^\TT x_0 \}$ 在 $x_0$ 处支撑 $C$。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png){width=400px}
![图 21. 超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 在 $x_0$ 处支撑 $C$。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-210-SupportingHyperplane.png){width=400px}
&emsp;&emsp;一个基本的结论，称为**支撑超平面定理**（*supporting hyperplane theorem*），表明对于任意非空的凸集 $C$ 和任意 $x_0 \in \bd C$，在 $x_0$ 处存在 $C$ 的支撑超平面。支撑超平面定理从超平面分离定理很容易得到证明。需要区分两种情况。如果 $C$ 的内部非空，对于 $\{x_0\}$ 和 $\iint C$ 应用超平面分离定理可以直接得到所需的结论。如果 $C$ 的内部是空集，则 $C$ 必处于小于 $n$ 维的一个仿射集合中，并且任意包含这个仿射集合的超平面一定包含 $C$ 和 $x_0$，这是一个（平凡的）支撑超平面。