diff --git a/package-lock.json b/package-lock.json index 994c820..163282f 100644 --- a/package-lock.json +++ b/package-lock.json @@ -20,6 +20,7 @@ "hexo-generator-sitemap": "^3.0.1", "hexo-generator-tag": "^2.0.0", "hexo-helper-live2d": "^3.1.1", + "hexo-markmap": "^1.2.5", "hexo-neat": "^1.0.9", "hexo-related-posts": "^1.5.2", "hexo-renderer-ejs": "^2.0.0", @@ -1252,6 +1253,14 @@ "node": ">= 4.5.0" } }, + "node_modules/autolinker": { + "version": "3.16.2", + "resolved": "https://registry.npmjs.org/autolinker/-/autolinker-3.16.2.tgz", + "integrity": "sha512-JiYl7j2Z19F9NdTmirENSUUIIL/9MytEWtmzhfmsKPCp9E+G35Y0UNCMoM9tFigxT59qSc8Ml2dlZXOCVTYwuA==", + "dependencies": { + "tslib": "^2.3.0" + } + }, "node_modules/autosize": { "version": "3.0.21", "resolved": "https://registry.npmjs.org/autosize/-/autosize-3.0.21.tgz", @@ -5259,6 +5268,16 @@ "node": ">=14" } }, + "node_modules/hexo-markmap": { + "version": "1.2.5", + "resolved": "https://registry.npmjs.org/hexo-markmap/-/hexo-markmap-1.2.5.tgz", + "integrity": "sha512-9NoPMcKU5Sr1mabRsxpTz2c2kmovOzc8hkuVIRMCBZakDBe4v0HI6ZeWTWrfYglW26/47NGjFqvWCT4k3VL6wg==", + "dependencies": { + "lodash.get": "^4.4.2", + "markmap-common": "^0.1.6", + "markmap-lib": "^0.11.6" + } + }, "node_modules/hexo-neat": { "version": "1.0.9", "resolved": "https://registry.npmmirror.com/hexo-neat/-/hexo-neat-1.0.9.tgz", @@ -7343,6 +7362,11 @@ "resolved": "https://registry.npmjs.org/lodash.camelcase/-/lodash.camelcase-4.3.0.tgz", "integrity": "sha512-TwuEnCnxbc3rAvhf/LbG7tJUDzhqXyFnv3dtzLOPgCG/hODL7WFnsbwktkD7yUV0RrreP/l1PALq/YSg6VvjlA==" }, + "node_modules/lodash.get": { + "version": "4.4.2", + "resolved": "https://registry.npmjs.org/lodash.get/-/lodash.get-4.4.2.tgz", + "integrity": "sha512-z+Uw/vLuy6gQe8cfaFWD7p0wVv8fJl3mbzXh33RS+0oW2wvUqiRXiQ69gLWSLpgB5/6sU+r6BlQR0MBILadqTQ==" + }, "node_modules/logidrom": { "version": "0.3.1", "resolved": "https://registry.npmjs.org/logidrom/-/logidrom-0.3.1.tgz", @@ -7496,6 +7520,46 @@ "node": ">=0.10.0" } }, + "node_modules/markmap-common": { + "version": "0.1.6", + "resolved": "https://registry.npmjs.org/markmap-common/-/markmap-common-0.1.6.tgz", + "integrity": "sha512-fx4YUo6gZFFr08mi8qX8i6RH9xm5yieLKHr9hAdaTMP+CkPmgzB65F/+t39aFH5HcyEgs5vtTrRZ40lkhalETA==", + "dependencies": { + "@babel/runtime": "^7.12.1" + } + }, + "node_modules/markmap-lib": { + "version": "0.11.6", + "resolved": "https://registry.npmjs.org/markmap-lib/-/markmap-lib-0.11.6.tgz", + "integrity": "sha512-9CnLt/vZzNgW3kO/wqldhinKBbK/h8WUx5GGVjdn2JTs/DrDcZZbvAyVmke3VG+mnWwYHsnjLVIiCbPi5PaepA==", + "dependencies": { + "@babel/runtime": "^7.12.5", + "katex": "^0.12.0", + "markmap-common": "^0.1.5", + "prismjs": "^1.21.0", + "remarkable": "^2.0.0", + "remarkable-katex": "^1.1.6" + }, + "engines": { + "node": ">=10" + } + }, + "node_modules/markmap-lib/node_modules/commander": { + "version": "2.20.3", + "resolved": "https://registry.npmjs.org/commander/-/commander-2.20.3.tgz", + "integrity": "sha512-GpVkmM8vF2vQUkj2LvZmD35JxeJOLCwJ9cUkugyk2nuhbv3+mJvpLYYt+0+USMxE+oj+ey/lJEnhZw75x/OMcQ==" + }, + "node_modules/markmap-lib/node_modules/katex": { + "version": "0.12.0", + "resolved": "https://registry.npmjs.org/katex/-/katex-0.12.0.tgz", + "integrity": "sha512-y+8btoc/CK70XqcHqjxiGWBOeIL8upbS0peTPXTvgrh21n1RiWWcIpSWM+4uXq+IAgNh9YYQWdc7LVDPDAEEAg==", + "dependencies": { + "commander": "^2.19.0" + }, + "bin": { + "katex": "cli.js" + } + }, "node_modules/math-random": { "version": "1.0.4", "resolved": "https://registry.npmmirror.com/math-random/-/math-random-1.0.4.tgz", @@ -10086,6 +10150,39 @@ "node": ">= 0.10" } }, + "node_modules/remarkable": { + "version": "2.0.1", + "resolved": "https://registry.npmjs.org/remarkable/-/remarkable-2.0.1.tgz", + "integrity": "sha512-YJyMcOH5lrR+kZdmB0aJJ4+93bEojRZ1HGDn9Eagu6ibg7aVZhc3OWbbShRid+Q5eAfsEqWxpe+g5W5nYNfNiA==", + "dependencies": { + "argparse": "^1.0.10", + "autolinker": "^3.11.0" + }, + "bin": { + "remarkable": "bin/remarkable.js" + }, + "engines": { + "node": ">= 6.0.0" + } + }, + "node_modules/remarkable-katex": { + "version": "1.2.1", + "resolved": "https://registry.npmjs.org/remarkable-katex/-/remarkable-katex-1.2.1.tgz", + "integrity": "sha512-Y1VquJBZnaVsfsVcKW2hmjT+pDL7mp8l5WAVlvuvViltrdok2m1AIKmJv8SsH+mBY84PoMw67t3kTWw1dIm8+g==" + }, + "node_modules/remarkable/node_modules/argparse": { + "version": "1.0.10", + "resolved": "https://registry.npmjs.org/argparse/-/argparse-1.0.10.tgz", + "integrity": "sha512-o5Roy6tNG4SL/FOkCAN6RzjiakZS25RLYFrcMttJqbdd8BWrnA+fGz57iN5Pb06pvBGvl5gQ0B48dJlslXvoTg==", + "dependencies": { + "sprintf-js": "~1.0.2" + } + }, + "node_modules/remarkable/node_modules/sprintf-js": { + "version": "1.0.3", + "resolved": "https://registry.npmjs.org/sprintf-js/-/sprintf-js-1.0.3.tgz", + "integrity": "sha512-D9cPgkvLlV3t3IzL0D0YLvGA9Ahk4PcvVwUbN0dSGr1aP0Nrt4AEnTUbuGvquEC0mA64Gqt1fzirlRs5ibXx8g==" + }, "node_modules/remove-trailing-separator": { "version": "1.1.0", "resolved": "https://registry.npmmirror.com/remove-trailing-separator/-/remove-trailing-separator-1.1.0.tgz", diff --git a/package.json b/package.json index f6c1aaf..dcb9024 100644 --- a/package.json +++ b/package.json @@ -24,6 +24,7 @@ "hexo-generator-sitemap": "^3.0.1", "hexo-generator-tag": "^2.0.0", "hexo-helper-live2d": "^3.1.1", + "hexo-markmap": "^1.2.5", "hexo-neat": "^1.0.9", "hexo-related-posts": "^1.5.2", "hexo-renderer-ejs": "^2.0.0", diff --git a/source/_posts/2024-06-08-josh-cvx-1-3.md b/source/_posts/2024-06-08-josh-cvx-1-3.md index c6faff0..61574f8 100644 --- a/source/_posts/2024-06-08-josh-cvx-1-3.md +++ b/source/_posts/2024-06-08-josh-cvx-1-3.md @@ -145,6 +145,8 @@ $$ > $$ > \{x\mid Ax\preceq b, Cx = d\} = \{ x\mid f(x) \in \bfR^m_+ \times \{0\}\} > $$ +> +> {% note info %}这里可以这样理解：函数 $f(x) = (b -Ax, d - Cx)$ 在条件 $Ax \preceq b, Cx = d$ 下的值域为 $\mathbf{R}^m_+ \times \{0\}$。{% endnote %} > **举例** **线性矩阵不等式的解**。条件 > @@ -168,7 +170,7 @@ $$ > \{ x\mid x^\TT Px \leqslant (c^\TT x) ^2, c^\TT x \geqslant 0 \} > $$ > -> 是凸集，其中 $P\in\bfS^n_+$，$c\in\bfR$ 这是因为它是二阶锥 +> 是凸集，其中 $P\in\bfS^n_+$，$c\in\bfR$。这是因为它是二阶锥 > > $$ > \{ (z,t)\mid z^\TT z \leqslant t ^2 , t \geqslant 0 \} @@ -190,9 +192,9 @@ $$ ## 3.1 透视函数 -  定义 $P:\bfR^{n+1}\to\bfR^n$ 为**透视函数**（*perspective function*），其定义域为 $\dom P = \bfR^n \times \bfR_{++}$。（此处的 $\bfR_{++}$ 表示正实数集合，即 $\bfR_{++} = \{ x\in\bfR\mid x > 0 \}$。）透视函数对向量进行伸缩（scale），或称为规范化（normalize），使得最后一维分量为1 并舍弃之。 +  定义 $P:\bfR^{n+1}\to\bfR^n$，$P(z,t) = z/t$ 为**透视函数**（*perspective function*），其定义域为 $\dom P = \bfR^n \times \bfR_{++}$。（此处的 $\bfR_{++}$ 表示正实数集合，即 $\bfR_{++} = \{ x\in\bfR\mid x > 0 \}$。）透视函数对向量进行伸缩（scale），或称为规范化（normalize），使得最后一维分量为1 并舍弃之。 -> **注释** 我们用小孔成象来解释透视函数。($\bfR^3$ 中的）小孔照相机由一个不透明的水平面 $x_3 = 0$ 和一个在原点的小孔组成，光线通过这个小孔在 $x_3 = -1$ 呈现出一个水平图像。在相机上方 $x(x_3 > 0)$ 处的一个物体，在相平面的点 $=(x_1/x_3,x_2/x_3,1)$ 处形成一个图像。忽略象点的最后一维分量（因为它恒等于 $-1$），$x$ 处的点的象在象平面上呈现于 $y=-(x_1/x_3,x_2/x_3)$ 处。[图 15](#图15)显示了这个过程。 +> **注释** 我们用小孔成象来解释透视函数。($\bfR^3$ 中的）小孔照相机由一个不透明的水平面 $x_3 = 0$ 和一个在原点的小孔组成，光线通过这个小孔在 $x_3 = -1$ 呈现出一个水平图像。在相机上方 $x$（$x_3 > 0$）处的一个物体，在相平面的点 $-(x_1/x_3,x_2/x_3,1)$ 处形成一个图像。忽略象点的最后一维分量（因为它恒等于 $-1$），$x$ 处的点的象在象平面上呈现于 $y=-(x_1/x_3,x_2/x_3)$ 处。[图 15](#图15)显示了这个过程。 > > > @@ -204,21 +206,23 @@ $$ P(C) = \{ P(x)\mid x\in C \} $$ -也是凸集。这个结论很直观：通过小孔观察一个凸的物体，可以得到凸的象。为解释这个事实，我们将说明在透视函数作用下，线段将被映射成线段。（也可以这样理解，通过小孔，一条线段的象是一条线段。）假设 $x = (\tilde{x},x_{n+1}), y = (\tilde{y}, y_{n+1}) \in \bfR^{n+1}$，并且 $x_{n+1}>0, y_{n+1}>0$ 。那么，对于 $0 \leqslant \theta \leqslant 1$ +也是凸集。这个结论很直观：通过小孔观察一个凸的物体，可以得到凸的象。为解释这个事实，我们将说明在透视函数作用下，线段将被映射成线段。（也可以这样理解，通过小孔，一条线段的象是一条线段。） +> **解释** 假设 $x = (\tilde{x},x_{n+1})$，$y = (\tilde{y}, y_{n+1}) \in \bfR^{n+1}$，并且 $x_{n+1}>0$，$y_{n+1}>0$ 。那么，对于 $0 \leqslant \theta \leqslant 1$ +> +> $$ +> P(\theta x + (1-\theta)y) = \frac{\theta\tilde{x}+ (1-\theta)\tilde{y}}{\theta x_{n+1} + (1-\theta)y_{n+1}} = \mu P(x) + (1-\mu) P(y) $$ -P(\theta x + (1-\theta)y) = \frac{\theta\tilde{x}+ (1-\theta)\tilde{y}}{\theta x_{n+1} + (1-\theta)y_{n+1}} = \mu P(x) + (1-\mu) P(x) -$$ +> +> 其中 +> +> $$ +> \mu = \frac{\theta x_{n+1}}{\theta x_{n+1} + (1-\theta) y_{n+1}}\in[0,1] +> $$ +> +> $\theta$ 和 $\mu$ 之间的关系是单调的：当 $\theta$ 在 $0$、$1$ 间变化时（形成线段 $[x,y]$），$\mu$ 也在 $0$、$1$ 间变化（形成线段 $[P(x),P(y)]$。这说明 $P([x,y]) = [P(x),P(y)]$。 -其中 - -$$ -\mu = \frac{\theta x_{n+1}}{\theta x_{n+1} + (1-\theta) y_{n+1}}\in[0,1] -$$ - -$\theta$ 和 $\mu$ 之间的关系是单调的：当 $\theta$ 在 $0$、$1$ 间变化时（形成线段 $[x,y]$），$\mu$ 也在 $0$、$1$ 间变化（形成线段 $[P(x),P(y)]$。这说明 $P([x,y]) = [P(x),P(y)]$。 - -  现在假设 $C$ 是凸的，并且有 $C \subseteq \dom P$（即对于所有 $x\in C$，$x_{n+1} > 0$) 及 $x,y\in C$。为显示 $P(C)$ 的凸性，需要说明线段 $[P(x), P(y)]$ 在 $P(C)$ 中。这条线段是线段 $[x,y]$ 在 $P$ 的象，因而属于 $P(C)$。 +  现在假设 $C$ 是凸的，并且有 $C \subseteq \dom P$（即对于所有 $x\in C$，$x_{n+1} > 0$）及 $x,y\in C$。为显示 $P(C)$ 的凸性，需要说明线段 $[P(x), P(y)]$ 在 $P(C)$ 中。这条线段是线段 $[x,y]$ 在 $P$ 的象，因而属于 $P(C)$。   一个凸集在透视函数下的原象也是凸的：如果 $C\subseteq \bfR^n$ 为凸集，那么 @@ -226,7 +230,7 @@ $$ P^{-1}(C) = \{ (x,t)\in\bfR^{n+1}\mid x/t\in C, t > 0 \} $$ -是凸集。为证明这点，假设 $(x,t)\in P^{-1}(C), (y,s)\in P^{-1}(C), 0 \leqslant \theta \leqslant 1$。我们需要说明 +是凸集。为证明这点，假设 $(x,t)\in P^{-1}(C)$，$(y,s)\in P^{-1}(C)$，$0 \leqslant \theta \leqslant 1$。我们需要说明 $$ \theta(x,t) + (1-\theta)(y,s) \in P^{-1} (C) @@ -235,13 +239,19 @@ $$ 即 $$ -\frac{\theta x + (1-\theta)y}{\theta t + (1-\theta)s} = \mu (x/t) + (1-\mu)(y/s) +\frac{\theta x + (1-\theta)y}{\theta t + (1-\theta)s} \in C +$$ + +（显然，$\theta t+(1-\theta)s>0$）。这可从下式看出， + +$$ +\frac{\theta x+(1-\theta)y}{\theta t+(1-\theta)s}=\mu(x/t)+(1-\mu)(y/s) $$ 其中 $$ -\mu = \frac{\theta t}{\theta t + (1-\theta)s} \in [0,1] +\mu=\frac{\theta t}{\theta t+(1-\theta)s}\in[0,1] $$ ## 3.2 线性分式函数 @@ -256,13 +266,13 @@ $$\begin{equation}\label{AffineFunction} \end{array}\right] \end{equation}$$ -其中 $A \in \bfR ^{m\times n}, b \in \bfR^m, c \in \bfR^n$ 并且 $d\in\bfR^n$。则由 $f =P\circ g$ 给出的函数 $f:\bfR^n \to \bfR^m$ +其中 $A \in \bfR ^{m\times n}$，$b \in \bfR^m$，$c \in \bfR^n$ 并且 $d\in\bfR^n$。则由 $f =P\circ g$ 给出的函数 $f:\bfR^n \to \bfR^m$ $$\begin{equation}\label{LinearFractionalFunction} f(x) = (Ax+b)/(c^\TT x + d),\qquad \dom f = \{x\mid c^\TT x + d > 0\} \end{equation}$$ -称为**线性分式**（*linear-fractional*）（或**投射**（*projective*））函数。如果 $c = 0, d > 0$，则 $f$ 的定义域为 $\bfR^n$ 并且 $f$ 是仿射函数。因此，我们可以将仿射和线性函数视为特殊的线性分式函数。 +称为**线性分式**（*linear-fractional*）（或**投射**（*projective*））函数。如果 $c = 0$，$d > 0$，则 $f$ 的定义域为 $\bfR^n$ 并且 $f$ 是仿射函数。因此，我们可以将仿射和线性函数视为特殊的线性分式函数。 > **注释** **投射解释**。可以很方便地将一个线性分式函数表示为：将矩阵 > @@ -274,7 +284,7 @@ $$\begin{equation}\label{LinearFractionalFunction} > > 作用于（即左乘）点 $(x,1)$，得到 $(Ax + b,c^\TT x + d)$；然后将所得结果做伸缩变换或归一化，以使得其最后一个分量为一，得到 $(f(x), 1)$。 > -> 也可以从儿何上进行解释，即这个表达式将 $\bfR^n$ 与 $\bfR^{n+1}$ 空间上的一组射线联系了起来。也就是说，对于 $\bfR^n$ 空间的一个点 $z$，我们可以构造一个 $\bfR^{n+1}$ 空间的（开）射线 $P(z) = \{t(z,1)\mid t > 0\}$。这条射线上每个点的最后一个分量均是正值。反之， $\bfR^{n+1}$ 空间中每条以原点为顶点并且最后一个分量为正值的射线均可以由一些 $v\in\bfR^n$ 表示为 $\P(v) = \{t(v, 1)\mid t \geqslant 0\}$。$\P$ 表示了 $\bfR^n$ 与最后一个分量为正的射线之间的（投射）关系，这种关系是一一对应和满的。 +> 也可以从儿何上进行解释，即这个表达式将 $\bfR^n$ 与 $\bfR^{n+1}$ 空间上的一组射线联系了起来。也就是说，对于 $\bfR^n$ 空间的一个点 $z$，我们可以构造一个 $\bfR^{n+1}$ 空间的（开）射线 $\P(z) = \{t(z,1)\mid t > 0\}$。这条射线上每个点的最后一个分量均是正值。反之， $\bfR^{n+1}$ 空间中每条以原点为顶点并且最后一个分量为正值的射线均可以由一些 $v\in\bfR^n$ 表示为 $\P(v) = \{t(v, 1)\mid t \geqslant 0\}$。$\P$ 表示了 $\bfR^n$ 与最后一个分量为正的射线之间的（投射）关系，这种关系是一一对应和满的。 > > 线性分式函数 $\eqref{LinearFractionalFunction}$ 可以表示为 > @@ -282,11 +292,11 @@ $$\begin{equation}\label{LinearFractionalFunction} > f(x) = \P^{-1}(Q\P(x)) > $$ > -> 因此，从 $x\in\dom f$ 出发，即由一个满足 $c^\TT x +d > 0$ 的点，可以得到 $\bfR^{n+1}$ 空间的一条射线 $\P(x)$。将线性变换矩阵 $Q$ 作用于这条射线，就可以得到另一条射线 $Q\P(x)$。因为 $x \in \dom f$, 这条射线的最后一个分量为正。最后，我们也可以通过逆投射变换恢复出 $f(x)$。 +> 因此，从 $x\in\dom f$ 出发，即由一个满足 $c^\TT x +d > 0$ 的点，可以得到 $\bfR^{n+1}$ 空间的一条射线 $\P(x)$。将线性变换矩阵 $Q$ 作用于这条射线，就可以得到另一条射线 $Q\P(x)$。因为 $x \in \dom f$，这条射线的最后一个分量为正。最后，我们也可以通过逆投射变换恢复出 $f(x)$。   类似于透视函数，线性分式函数也是保凸的。如果 $C$ 是凸集并且在 $f$ 的定义域中（即任意 $x\in C$ 满足 $c^\TT x+d > 0$），那么 $C$ 的象 $f(C)$ 也是凸集。根据前述的结果可以直接得到这个结论： $C$ 在仿射映射 $\eqref{AffineFunction}$ 下的象是凸的，并且在透视函数 $P$ 下的映射（即 $f(C)$）是凸的。类似地，如果 $C \subseteq \bfR^m$ 是凸集，那么其原象 $f^{-1}(C)$ 也是凸的。 -> **举例** **条件概率**。设 $u$ 和 $v$ 是分别在 $\{1, \cdots, n\}$ 和 $\{1, \cdots, m\}$ 中取值的随机变量，并且 $p_ij$ 表示概率 $\prob(u = i,v = j)$。那么条件概率 $f_{ij} = \prob(u = i\mid v = j)$ 由下式给出 +> **举例** **条件概率**。设 $u$ 和 $v$ 是分别在 $\{1, \cdots, n\}$ 和 $\{1, \cdots, m\}$ 中取值的随机变量，并且 $p_{ij}$ 表示概率 $\prob(u = i,v = j)$。那么条件概率 $f_{ij} = \prob(u = i\mid v = j)$ 由下式给出 > > $$ > f_{ij} = \frac{p_{ij}}{\displaystyle\sum_{k=1}^n p_{kj}} diff --git a/source/_posts/2024-06-12-josh-cvx-1-4.md b/source/_posts/2024-06-12-josh-cvx-1-4.md index c8b7f71..5b6ab56 100644 --- a/source/_posts/2024-06-12-josh-cvx-1-4.md +++ b/source/_posts/2024-06-12-josh-cvx-1-4.md @@ -49,7 +49,7 @@ $$ x \preceq_K y \Longleftrightarrow y - x \in K $$ -$y \prec_K x$ 也可以写为 $x \succeq_K y$。类似地，定义相应的严格偏序关系为 +$y \preceq_K x$ 也可以写为 $x \succeq_K y$。类似地，定义相应的严格偏序关系为 $$ x \prec_K y \Longleftrightarrow y - x \in \iint K @@ -59,16 +59,15 @@ $$ -  当 $K = \bfR_+$ 时，偏序关系 $\preceq_K$ 就是通常意义上 $\bfR$ 中的序 $\leqslant$ 相应地，严格偏序关系 $\prec_K$ 与 $\bfR$ 上的严格序 $<$ 相同。因此，广义不等式包含了 $\bfR$ 上的（不严格和严格）不等式，它是广义不等式的一种特殊情况。 +  当 $K = \bfR_+$ 时，偏序关系 $\preceq_K$ 就是通常意义上 $\bfR$ 中的序 $\leqslant$；相应地，严格偏序关系 $\prec_K$ 与 $\bfR$ 上的严格序 $<$ 相同。因此，广义不等式包含了 $\bfR$ 上的（不严格和严格）不等式，它是广义不等式的一种特殊情况。 > **举例** **非负象限及分量不等式**。非负象限 $K = \bfR^n_+$ 是一个正常锥。相应的广义不等式 $\preceq_K$ 对应于向量间的分量不等式，即 $x \preceq_K y$ 等价于 $x_i \leqslant y_i, i = 1,\cdots,n$。相应地，其严格不等式对应于严格的分量不等式，即 $x \prec_K y$ 等价于 $x_i < y_i, i = 1,\cdots,n$。 > -> 我们将常常使用对应于非负象限的不严格和严格的偏序关系，因此省略下标 $\bfR^n_+$。当 $\preceq$ 或 $\prec$ 出现在向量间的时候，该符号应被理解为分量不等式。 +> 我们会经常使用对应于非负象限的不严格和严格的偏序关系，因此省略下标 $K$。当 $\preceq$ 或 $\prec$ 出现在向量间的时候，该符号应被理解为分量不等式。 -> **举例** **半正定锥和矩阵不等式**。半正定锥是 $S^n$ 空间中的正常锥，相应的广义不等式 $\preceq_K$ 就是通常的矩阵不等式，即 $X \preceq_K Y$ 等价于 $Y - X$ 为半正定矩阵。（在 $S^n$ 中）$S^n_+$ 的内部由正定矩阵组成，因此严格广义不等式也等同于通常的对称矩阵的严格不等式，即 $X \prec_K Y$ 等价于 $Y - X$ 为正定矩阵。 +> **举例** **半正定锥和矩阵不等式**。半正定锥是 $\bfS^n$ 空间中的正常锥，相应的广义不等式 $\preceq_K$ 就是通常的矩阵不等式，即 $X \preceq_K Y$ 等价于 $Y - X$ 为半正定矩阵。（在 $\bfS^n$ 中）$\bfS^n_+$ 的内部由正定矩阵组成，因此严格广义不等式也等同于通常的对称矩阵的严格不等式，即 $X \prec_K Y$ 等价于 $Y - X$ 为正定矩阵。 > -> 这里，也是由于经常使用这种偏序关系，因此省略其下标，即对于对称矩阵，我们将广义不 -等式简写为 $X \preceq Y$ 或 $X \prec Y$, 它们表示关于半正定锥的广义不等式。 +> 这里，也是由于经常使用这种偏序关系，因此省略其下标，即对于对称矩阵，我们将广义不等式简写为 $X \preceq Y$ 或 $X \prec Y$, 它们表示关于半正定锥的广义不等式。 > **举例** **$[0, 1]$ 上非负的多项式锥**。$K$ 定义如下 > @@ -107,14 +106,13 @@ $$ # 2. 最小与极小元 -  广义不等式的符号（$\preceq_K$，$\prec_K$）似乎表明它们与 $\bfR$ 上的普通不等式（$\leqslant$，$<$）有着相同的性质。虽然普通不等式的许多性质对于广义不等式确实成立，但很多重要的性质并不如此。最明显的区别在于，$\bfR$ 上的 $\leqslant$ 是一个**线性序**（*linear ordering*），即任意两点都是**可比的**（*comparable*），也就是说 $x\leqslant y$ 和 $y \leqslant x$ 二者必居其一。这个性质对于其他广义不等式并不成立。这导致了最小、最大这些概念在广义不等式环境下变得更加复杂。本节将对此进行简要的 -讨论。 +  广义不等式的符号（$\preceq_K$，$\prec_K$）似乎表明它们与 $\bfR$ 上的普通不等式（$\leqslant$，$<$）有着相同的性质。虽然普通不等式的许多性质对于广义不等式确实成立，但很多重要的性质并不如此。最明显的区别在于，$\bfR$ 上的 $\leqslant$ 是一个**线性序**（*linear ordering*），即任意两点都是**可比的**（*comparable*），也就是说 $x\leqslant y$ 和 $y \leqslant x$ 二者必居其一。这个性质对于其他广义不等式并不成立。这导致了最小、最大这些概念在广义不等式环境下变得更加复杂。本节将对此进行简要的讨论。   如果对于每个 $y \in S$，均有 $x \preceq_K y$，称 $x\in S$ 是 $S$（关于广义不等式 $\preceq_K$）的**最小元**（*minimum element*）。类似地，我们可以定义关于广义不等式的**最大元**（**maximum element**）。如果一个集合有最小（或最大）元，那么它们是唯一的。   相对应的概念是**极小元**（*minimal element*）。如果 $y \in S$，$y \preceq_K x$ 可以推得 $y=x$，那么称 $x\in S$ 是 $S$ 上（关于广义不等式 $\preceq_K$）的**极小元**（*minimal element*）。同样地，可以定义**极大元**（*maximal element*）。一个集合可以有多个极小（或极大）元。 -  用简单的集合符号，我们可以对最小元和极小元进行描述。元素 $x\in S$ 是 $S$ 中的一个最小元，当且仅当 +  可以用简单的集合符号对最小元和极小元进行描述。元素 $x\in S$ 是 $S$ 中的一个最小元，当且仅当 $$ S \subseteq x + K diff --git a/source/_posts/2024-06-12-josh-cvx-1-5.md b/source/_posts/2024-06-12-josh-cvx-1-5.md index de01053..274e941 100644 --- a/source/_posts/2024-06-12-josh-cvx-1-5.md +++ b/source/_posts/2024-06-12-josh-cvx-1-5.md @@ -32,7 +32,7 @@ $ \def\iint{\mathop{\bf int}} \def\bd{\mathop{\bf bd}} \def\cl{\mathop{\bf cl}} -$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\mid a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的分离超平面，或称超平面分离了集合 $C$ 和 $D$，如[图 19](#图19)。 +$  本节将阐述一个在之后非常重要的想法：用超平面或仿射函数将两个不相交的凸集分离开来。其基本结果就是**超平面分离定理**（*separating hyperplane theorem*）：假设 $C$ 和 $D$ 是两个不相交的凸集，即 $C \cap D = \emptyset$，那么存在 $a \ne 0$ 和 $b$ 使得对于所有 $x\in C$ 有 $a^\TT x \leqslant b$，对于所有 $x\in D$ 有 $a^\TT x \geqslant b$。换言之，仿射函数 $a^\TT x-b$ 在 $C$ 中非正，而在 $D$ 中非负。超平面 $\{ x\mid a^\TT x = b \}$ 称为集合 $C$ 和 $D$ 的**分离超平面**（*separating hyperplane*），或称超平面**分离**（*separate*）了集合 $C$ 和 $D$，如[图 19](#图19)。 @@ -48,7 +48,7 @@ $$ \dist(C,D) = \inf\{ \|u,v\|_2\mid u \in C,\ v \in D\} $$ -并且存在 $c\in C$ 和 $d\in D$ 达到这个最小距离，即 $ \| c- d \|_2= \dist(C, D)$ 。（这些条件是可以被满足的，例如当 $C$ 和 $D$ 是闭的并且其中之一是有界的。） +并且存在 $c\in C$ 和 $d\in D$ 达到这个最小距离，即 $\|c-d\|_2=\dist(C,D)$。（这些条件是可以被满足的，例如当 $C$ 和 $D$ 是闭的并且其中之一是有界的。）   定义 @@ -68,37 +68,39 @@ $$ ![图 20. 两个凸集间分离超平面的构造。$c \in C$ 和 $d\in D$ 是两个集合中最靠近彼此的一个点对。分离超平面垂直并且等分 $c$ 和 $d$ 之间的线段。](../images/post/2024-06-12-josh-cvx-1-5/2024-06-12-josh-cvx-1-5-200-SeparateHyperplane.png){width=400px} -  首先证明 $f$ 在 $D$ 中非负。关于 $f$ 在 $C$ 中非正的证明是相似的（只需将 $C$ 和 $D$ 交换并考虑 $-f$ 即可）。假设存在一个点 $u\in D$，并且 +  首先证明 $f$ 在 $D$ 中非负。关于 $f$ 在 $C$ 中非正的证明是相似的（只需将 $C$ 和 $D$ 交换并考虑 $-f$ 即可）。 -$$\begin{equation}\label{ufunction} - f(u) = (d-c)^\TT (u - (1/2)(d+c)) < 0 -\end{equation}$$ +> **证明** 假设存在一个点 $u\in D$，并且 +> +> $$\begin{equation}\label{ufunction} +> f(u) = (d-c)^\TT (u - (1/2)(d+c)) < 0 +> \end{equation}$$ +> +> 可以将 $f(u)$ 表示为 +> +> $$ +> f(u) = (d-c)^\TT (u - d + (1/2)(d-c)) = (d-c)^\TT(u-d) + (1/2) \| d-c \|_2^2 +> $$ +> +> 可以看出式 $\eqref{ufunction}$ 意味着 $(d-c)^\TT(u-d) < 0$。于是，观察到 +> +> $$ +> \left. \frac{\d}{\d t} \|d + t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0 +> $$ +> +> 因此，对于足够小的 $t>0$ 及 $t\leqslant 1$，有 +> +> $$ +> \| d + t(u-d) - c \|_2 < \| d -c \|_2 +> $$ +> +> 即点 $d+t(u-d)$ 比 $d$ 更靠近 $c$。因为 $D$ 是包含 $d$ 和 $u$ 的凸集，我们有 $d+t(u-d) \in D$。但这是不可能的，因为根据假设，$d$ 应当是 $D$ 中离 $C$ 最近的点。 -可以将 $f(u)$ 表示为 - -$$ -f(u) = (d-c)^\TT (u - d + (1/2)(d-c)) = (d-c)^\TT(u-d) + (1/2) \| d-c \|_2^2 -$$ - -可以看出式 $\eqref{ufunction}$ 意味着 $(d-c)^\TT(u-d) < 0$。于是，观察到 - -$$ -\left. \frac{\d}{\d t} \|d + t(u-d) - c\|_2^2 \right|_{t=0} = 2(d-c)^\TT(u-d) < 0 -$$ - -因此，对于足够小的 $t>O$ 及 $t\leqslant 1$，有 - -$$ -\| d + t(u-d) - c \|_2 < \| d -c \|_2 -$$ - -即点 $d+t(u-d)$ 比 $d$ 更靠近 $c$。因为 $D$ 是包含 $d$ 和 $u$ 的凸集，我们有 $d+t(u-d) \in D$。但这是不可能的，因为根据假设，$d$ 应当是 $D$ 中离 $C$ 最近的点。 - -> **举例** **仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\mid u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x = b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。 +> **举例** **仿射集与凸集的分离**。设 $C$ 是凸集，而 $D$ 是仿射的，即 $D = \{ Fu + g\mid u \in \bfR^m\}$，其中 $F \in \bfR^{n\times m}$。设 $C$ 和 $D$ 不相交，那么根据超平面分离定理，存在 $a \ne 0$ 和 $b$ 使得对于所有 $x \in C$ 有 $a^\TT x \leqslant b$，对于所有 $x \in D$ 有 $a^\TT x \geqslant b$。 > > 这里 $a^\TT x \geqslant b$ 对于所有 $x \in D$ 均成立，表明对于任意 $u \in \bfR^m$ 均有 $a^\TT Fu \geqslant b - a^\TT g$。但是在 $\bfR^m$ 上，只有当一个线性函数为零时，它才是有界的。因此，可以推知 $a^\TT F=0$ （并且因此有 $b \leqslant a^\TT g$）。 > -> 所以，我们可知存在 $a \ne 0$ 使得 $F^\TT a =0$ 和 $a^\TT x \leqslant a^\TT g$ 对于所有 $x\in C$ 均成立。 +> 所以可知，存在 $a \ne 0$ 使得 $F^\TT a =0$ 和 $a^\TT x \leqslant a^\TT g$ 对于所有 $x\in C$ 均成立。 ## 1.2 严格分离 @@ -106,7 +108,7 @@ $$ > **举例** **点和闭凸集的严格分离**。令 $C$ 为闭凸集，而 $x_0 \notin C$，那么存在将 $x_0$ 与 $C$ 严格分离的超平面。 > -> 为说明这一点，需要注意，对于足够小的 $c > 0$，存在两个不相交的集合 $C$ 和 $B(x_0, \epsilon)$。根据超平面分离定理，存在 $a \ne 0$ 和 $b$，使得对于任意 $x\in C$ 有 $a^\TT x \leqslant b$；对于任意 $x \in B(x_0, \epsilon)$ 有 $a^\TT x \geqslant b$。 +> 为说明这一点，需要注意，对于足够小的 $\epsilon > 0$，存在两个不相交的集合 $C$ 和 $B(x_0, \epsilon)$。根据超平面分离定理，存在 $a \ne 0$ 和 $b$，使得对于任意 $x\in C$ 有 $a^\TT x \leqslant b$；对于任意 $x \in B(x_0, \epsilon)$ 有 $a^\TT x \geqslant b$。 > > 利用 $B(x_0, \epsilon) = \{ x_0 + u\mid \|u\|_2 \leqslant \epsilon \}$，可以将前述第二个条件表示为 > @@ -128,7 +130,7 @@ $$ > > 在 $C$ 上是负的，而在 $x_0$ 点是正的。 > -> 作为一个直接的结果，我们可以得到前面已提及的事实：一个闭凸集是包含它的所有半空间的交集。事实上，令 $C$ 为闭和凸的，$S$ 为所有包含 $C$ 的半空间。显然，$x\in C \Rightarrow x \in S$。为证明反方向，假设存在 $x\in S$ 并且 $x \notin C$。根据严格分离的结果，存在一个将 $x$ 与 $C$ 严格分离的超平面，即存在一个包含 $C$ 但不包含 $x$ 的半空间。也就是说，$x \notin S$。 +> 由此可以得到前面已提及的事实：一个闭凸集是包含它的所有半空间的交集。事实上，令 $C$ 为闭和凸的，$S$ 为所有包含 $C$ 的半空间。显然，$x\in C \Rightarrow x \in S$。为证明反方向，假设存在 $x\in S$ 并且 $x \notin C$。根据严格分离的结果，存在一个将 $x$ 与 $C$ 严格分离的超平面，即存在一个包含 $C$ 但不包含 $x$ 的半空间。也就是说，$x \notin S$。 ## 1.3 超平面分离定理的逆定理 @@ -136,7 +138,9 @@ $$ > **反例** 考虑 $C = D = \{0\} \subseteq \bfR$，超平面 $x=0$ 可以分离 $C$ 和 $D$。 -  通过给 $C$ 和 $D$ 增加一些条件，可以得到超平面分离定理的多种逆定理。作为一个简单的例子，设 $C$ 和 $D$ 是凸集，$C$ 是开集，如果存在一个仿射函数 $f$，它在 $C$ 中非正而在 $D$ 中非负，那么 $C$ 和 $D$ 不相交。（为说明此结论，首先可知 $f$ 在 $C$ 上是负的。否则，如果 $f$ 在 $C$ 中的某一点为零，那么 $f$ 在这个点附近会取得正值，这与前述矛盾。因此 $C$ 和 $D$ 一定是不相交的，因为 $f$ 在 $C$ 中为负，而在 $D$ 中非负。）将逆定理与超平面分离定理相结合，我们可以得到下面的结论：任何两个凸集 $C$ 和 $D$，如果其中至少有一个是开集，那么当且仅当存在分离超平面时，它们不相交。 +  通过给 $C$ 和 $D$ 增加一些条件，可以得到超平面分离定理的多种逆定理。 + +> **举例** 设 $C$ 和 $D$ 是凸集，$C$ 是开集，如果存在一个仿射函数 $f$，它在 $C$ 中非正而在 $D$ 中非负，那么 $C$ 和 $D$ 不相交。（为说明此结论，首先可知 $f$ 在 $C$ 上是负的。否则，如果 $f$ 在 $C$ 中的某一点为零，那么 $f$ 在这个点附近会取得正值，这与前述矛盾。因此 $C$ 和 $D$ 一定是不相交的，因为 $f$ 在 $C$ 中为负，而在 $D$ 中非负。）将逆定理与超平面分离定理相结合，我们可以得到下面的结论：任何两个凸集 $C$ 和 $D$，如果其中至少有一个是开集，那么当且仅当存在分离超平面时，它们不相交。 > **举例** **严格线性不等式的择一定理**。我们导出严格线性不等式 > @@ -170,7 +174,7 @@ $$ x_0 \in \bd C = \cl C\ \backslash\ \iint C $$ -如果 $a \ne 0$，并且对任意 $x \ in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\mid a^\TT x \leqslant a^\TT x_0 \} 包含 $C$，如[图 21](#图21)。 +如果 $a \ne 0$，并且对任意 $x \in C$ 满足 $a^\TT x \leqslant a^\TT x_0$，那么称超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 为集合 $C$ 在点 $x_0$ 处的**支撑超平面**（*supporting hyperplane*）。这等于说点 $x_0$ 与集合 $C$ 被超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 所分离。其几何解释是超平面 $\{ x\mid a^\TT x = a^\TT x_0 \}$ 与 $C$ 相切于点 $x_0$，而且半空间 $\{ x\mid a^\TT x \leqslant a^\TT x_0 \}$ 包含 $C$，如[图 21](#图21)。 diff --git a/source/_posts/2024-06-13-josh-cvx-1-6.md b/source/_posts/2024-06-13-josh-cvx-1-6.md index 3d61edb..6d64b48 100644 --- a/source/_posts/2024-06-13-josh-cvx-1-6.md +++ b/source/_posts/2024-06-13-josh-cvx-1-6.md @@ -48,37 +48,37 @@ $$\begin{equation} -> **举例** **非负象限**锥 $\bfR^n_+$ 的对偶是它本身： +> **举例** **非负象限**。锥 $\bfR^n_+$ 的对偶是它本身： > > $$ > y^\TT x \geqslant 0,\ \forall x \succeq 0 \Longleftrightarrow y \succeq 0 > $$ > -> 我们称这种锥**自对偶**（*self-dual*）。 +> 称这种锥**自对偶**（*self-dual*）。 -> **举例** **半正定锥**。在 $n \times n$ 对称矩阵的集合 $\bfS^n$ 上，我们使用其标准内积 $\tr(XY) = \displaystyle\sum_{i,j=1}^{n} X_{ij}Y_{ij}$。半正定锥 $\bfS^n_+$ 是自对偶的，即对于任意的 $X,Y\in\bfS^n$ +> **举例** **半正定锥**。在 $n \times n$ 对称矩阵的集合 $\bfS^n$ 上，其标准内积 $\tr(XY) = \displaystyle\sum_{i,j=1}^{n} X_{ij}Y_{ij}$。半正定锥 $\bfS^n_+$ 是自对偶的，即对于任意的 $X,Y\in\bfS^n$ > > $$ > \tr (XY) \geqslant 0,\ \forall X \succeq 0 \Longleftrightarrow Y \succeq 0 > $$ > -> 下面，我们将说明这一结论。 +> 下面说明这一结论。 > -> 假设 $Y \notin \bfS^n_+$，那么存在 $q \in \bfR^n$ 并且 -> -> $$ -> q^\TT Yq = \tr (qq^\TT Y) < 0 -> $$ -> -> 于是半正定矩阵 $X = qq^\TT$ 满足 $\tr(XY) < 0$，由此可知 $Y \notin (\bfS^n_+)^\ast$。 -> -> 假设 $X,T\in\bfS^n_+$，我们可以利用特征值分解将 $X$ 表述为 $X = \displaystyle\sum_{i=1}^n \lambda_i q_i q_i^\TT$，其中（特征 $\lambda_i \geqslant 0,\ i = 1,\cdots,n$。于是，我们有 -> -> $$ -> \tr (XY) = \tr \left( Y \sum_{i=1}^n \lambda_i q_i q_i^\TT \right) = \sum_{i=1}^n \lambda_i q^\TT Y q_i \geqslant 0 -> $$ -> -> 以上表明 $Y \in (\bfS^n_+)^\ast$。 +> > **证明** 假设 $Y \notin \bfS^n_+$，那么存在 $q \in \bfR^n$ 并且 +> > +> > $$ +> > q^\TT Yq = \tr (qq^\TT Y) < 0 +> > $$ +> > +> > 于是半正定矩阵 $X = qq^\TT$ 满足 $\tr(XY) < 0$，由此可知 $Y \notin (\bfS^n_+)^\ast$。 +> > +> > 假设 $X,Y\in\bfS^n_+$，可以利用特征值分解将 $X$ 表述为 $X = \displaystyle\sum_{i=1}^n \lambda_i q_i q_i^\TT$，其中（特征值）$\lambda_i \geqslant 0,\ i = 1,\cdots,n$。于是有 +> > +> > $$ +> > \tr (XY) = \tr \left( Y \sum_{i=1}^n \lambda_i q_i q_i^\TT \right) = \sum_{i=1}^n \lambda_i q^\TT Y q_i \geqslant 0 +> > $$ +> > +> > 以上表明 $Y \in (\bfS^n_+)^\ast$。 > **举例** **范数锥的对偶**。令 $\|\cdot\|$ 为定义在 $\bfR^n$ 上的范数。与之相关的锥 $K = \{ (x,t) \in \bfR^{n+1}\mid \|x\|\leqslant t \}$ 的对偶锥由其对偶范数定义， > @@ -94,21 +94,21 @@ $$\begin{equation} > x^\TT u + tv \geqslant 0\ 只要\ \|x\|\leqslant t \Longleftrightarrow \|u\|_\ast \leqslant v > \end{equation}$$ > -> 首先，证明由右端关于 $(u,v)$ 的条件可以得出左端的条件。设 $\|u\|_\ast \leqslant v$，并且对于一些 $t>0$ 有 $\|x\| \leqslant t$。（如果 $t = 0$，$x$ 必须是零，因此显然有 $u^\TT x + vt \geqslant 0$。）根据对偶锥的定义以及 $\|-x/t\|\leqslant 1$，我们有 -> -> $$ -> u^\TT (-x/t) \leqslant \|u\|_\ast \leqslant v -> $$ -> -> 因此，$u^\TT x + vt \geqslant 0$。 -> -> 其次，我们证明 $\eqref{DualOfNormCone}$ 左端的条件可以导出 $\eqref{DualOfNormCone}$ 右端的条件。假设 $\|u\|_\ast> v$，即右端不成立。那么，根据对偶锥的定义，存在 $x$ 满足 $\|x\|\leqslant 1$ 及 $x^\TT u > v$。取 $t=1$，我们有 -> -> $$ -> u^\TT (-x) + v < 0 -> $$ -> -> 这与 $\eqref{DualOfNormCone}$ 的左端相矛盾。 +> > **证明** 首先，证明由右端关于 $(u,v)$ 的条件可以得出左端的条件。设 $\|u\|_\ast \leqslant v$，并且对于一些 $t>0$ 有 $\|x\| \leqslant t$。（如果 $t = 0$，$x$ 必须是零，因此显然有 $u^\TT x + vt \geqslant 0$。）根据对偶锥的定义以及 $\|-x/t\|\leqslant 1$，我们有 +> > +> > $$ +> > u^\TT (-x/t) \leqslant \|u\|_\ast \leqslant v +> > $$ +> > +> > 因此，$u^\TT x + vt \geqslant 0$。 +> > +> > 其次，我们证明 $\eqref{DualOfNormCone}$ 左端的条件可以导出 $\eqref{DualOfNormCone}$ 右端的条件。假设 $\|u\|_\ast> v$，即右端不成立。那么，根据对偶锥的定义，存在 $x$ 满足 $\|x\|\leqslant 1$ 及 $x^\TT u > v$。取 $t=1$，我们有 +> > +> > $$ +> > u^\TT (-x) + v < 0 +> > $$ +> > +> > 这与 $\eqref{DualOfNormCone}$ 的左端相矛盾。   对偶锥满足一些性质，例如 @@ -127,7 +127,7 @@ $$\begin{equation} - $x \preceq_K y$ 当且仅当对于任意 $\lambda \succeq_{K^\ast}$，有 $\lambda^\TT x \leqslant \lambda^\TT y$。 - $x \prec_K y$ 当且仅当对于任意 $\lambda \succeq_{K^\ast}$ 和 $\lambda\ne 0$，有 $\lambda^\TT T x < \lambda^\TT y$。 -因为 $K = K^{\ast\ast}$，与 $\preceq_{K^\ast}$ 相关的对偶广义不等式为 $\preceq_{K}$，因此交换广义不等式及其对偶后，这些性质依然成立。作为一个具体的例子，我们可知 $\lambda\preceq_{K^\ast} \mu$ 的充要条件是对于所有 $x \succeq_K 0$ 有 $\lambda^\TT x \leqslant \mu^\TT x$。 +  因为 $K = K^{\ast\ast}$，与 $\preceq_{K^\ast}$ 相关的对偶广义不等式为 $\preceq_{K}$，因此交换广义不等式及其对偶后，这些性质依然成立。作为一个具体的例子，我们可知 $\lambda\preceq_{K^\ast} \mu$ 的充要条件是对于所有 $x \succeq_K 0$ 有 $\lambda^\TT x \leqslant \mu^\TT x$。 > **举例** **线性严格广义不等式的择一定理**。设 $K \subseteq \bfR^m$ 为正常锥。考虑严格广义不等式 > @@ -137,7 +137,7 @@ $$\begin{equation} > > 其中 $x \in \bfR^n$ > -> 我们将导出对于这个不等式的择一定理。假设它是不可行的，即仿射集合 $\{b-Ax\mid x\in\bfR^n\}$ 与开凸集 $\iint K$ 不相交。那么存在一个分离超平面，即非零的 $\lambda\in\bfR^m$ 和 $\mu\in \bfR$ 使得对于任意 $x$ 有灯 $\lambda^\TT(b-Ax) \leqslant \mu$，对于任意 $y \in \iint K$ 有 $\lambda^\TT y \geqslant \mu$。第一个条件表明 $A^\TT \lambda = 0$ 及 $\lambda^\TT b \leqslant \mu$。第二个条件表明对于任意 $y\in K$ 有 $\lambda^\TT y \geqslant \mu$，这种情况仅当 $\lambda \in K^\ast$ 和 $\mu \leqslant 0$ 时才可能发生。 +> 下面推导对于这个不等式的择一定理。假设它是不可行的，即仿射集合 $\{b-Ax\mid x\in\bfR^n\}$ 与开凸集 $\iint K$ 不相交。那么存在一个分离超平面，即非零的 $\lambda\in\bfR^m$ 和 $\mu\in \bfR$ 使得对于任意 $x$ 有灯 $\lambda^\TT(b-Ax) \leqslant \mu$，对于任意 $y \in \iint K$ 有 $\lambda^\TT y \geqslant \mu$。第一个条件表明 $A^\TT \lambda = 0$ 及 $\lambda^\TT b \leqslant \mu$。第二个条件表明对于任意 $y\in K$ 有 $\lambda^\TT y \geqslant \mu$，这种情况仅当 $\lambda \in K^\ast$ 和 $\mu \leqslant 0$ 时才可能发生。 > > 综上，我们可知当 $\eqref{StrictGeneralInequality}$ 不可行时，存在 $\lambda$ 使得 > @@ -155,29 +155,29 @@ $$\begin{equation} ## 3.1 最小元的对偶性质 -  我们首先考虑**最小**（*minimum*）元的性质。$x$ 是 $S$ 上关于广义不等式 $\preceq _K$ 的最小元的充要条件是，对于所有 $\lambda\succ_{K^*}0$，$x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一最优解。几何上看，这意味着对于任意 $\lambda\succ_{K^*}0$，超平面 +  首先考虑**最小**（*minimum*）元的性质。$x$ 是 $S$ 上关于广义不等式 $\preceq _K$ 的最小元的充要条件是，对于所有 $\lambda\succ_{K^*}0$，$x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一最优解。几何上看，这意味着对于任意 $\lambda\succ_{K^*}0$，超平面 $$ \{z\mid \lambda^\TT (z-x)=0\} $$ -是在 $x$ 处对 $S$ 的一个严格支撑超平面。(我们用严格支撑超平面表明这个超平面与 $S$ 只相交于 $x$。)注意此处并不要求 $S$ 是凸集。这可由[图 23](#图23)来表示。 +是在 $x$ 处对 $S$ 的一个严格支撑超平面。（用严格支撑超平面表明这个超平面与 $S$ 只相交于 $x$。）注意此处并不要求 $S$ 是凸集。这可由[图 23](#图23)来表示。 ![图 23. 最小元的对偶性质。点 $x$ 是集合 $S$ 中关于 $\mathbf{R}_+^2$ 的极小元。这等价于：对于任意 $\lambda\succ0$，超平面 $\{z\mid\lambda^\TT (z-x)=0\}$ 在 $x$ 处对 $S$ 严格支撑，即在超平面的一边包含了 $S$，并只在 $x$ 处与 $S$ 接触。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-230-DualCharacterizationOfMinimumElement.png){width=400px} -  为说明这个结论，设 $x$ 是 $S$ 的最小元，即对于任意 $z\in S$ 有 $x\preceq_Kz$，同时，令 $\lambda\succ_{K^*} 0$，而$z\in S, z\neq x$。因为 $x$ 是 $S$ 上的最小元，我们有 $z-x\succeq_K0 $。根据 $\lambda\succ_{K^*}0$ 及 $z-x\succeq_K0,z-x\neq0$，可以得到 $\lambda^\TT (z-x)>0$。因为 $z$ 是 $S$ 上任意一个不等于 $x$ 的元素，所以 $x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解。反之，假设对于所有 $\lambda\succ_{K^*}0$，$x$ 是 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解，但 $x$ 不是 $S$ 的最小元。那么存在 $z\in S$ 满足 $z\nsucceq_Kx$。因为 $z-x\nsucceq_K0$，存在 $\tilde{\lambda}\succeq_{K^*} 0$ 并且 $\tilde{\lambda}^\TT(z-x)<0$。因此，对于 $\lambda\succ_{K^*} 0$，在 $\tilde{\lambda}$ 的邻域内有 $\lambda^\TT (z-x)<0$。这与 $x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的唯一解相矛盾。 +  为说明这个结论，设 $x$ 是 $S$ 的最小元，即对于任意 $z\in S$ 有 $x\preceq_Kz$，同时，令 $\lambda\succ_{K^*} 0$，而$z\in S$，$z\neq x$。因为 $x$ 是 $S$ 上的最小元，所以有 $z-x\succeq_K0$。根据 $\lambda\succ_{K^*}0$ 及 $z-x\succeq_K0$，$z-x\neq0$，可以得到 $\lambda^\TT (z-x)>0$。因为 $z$ 是 $S$ 上任意一个不等于 $x$ 的元素，所以 $x$ 是在 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解。反之，假设对于所有 $\lambda\succ_{K^*}0$，$x$ 是 $z\in S$ 上极小化 $\lambda^\TT z$ 的唯一解，但 $x$ 不是 $S$ 的最小元。那么存在 $z\in S$ 满足 $z\nsucceq_Kx$。因为 $z-x\nsucceq_K0$，存在 $\tilde{\lambda}\succeq_{K^*} 0$ 并且 $\tilde{\lambda}^\TT(z-x)<0$。因此，对于 $\lambda\succ_{K^*} 0$，在 $\tilde{\lambda}$ 的邻域内有 $\lambda^\TT (z-x)<0$。这与 $x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的唯一解相矛盾。 ## 3.2 极小元的对偶性质 -  现在我们转而讨论**极小**（*minimal*）元的类似性质。此时，在必要和充分条件间存在一定的间隙。如果 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$，那么 $x$ 是极小的，如[图 24](#图24)所示。 +  现在讨论**极小**（*minimal*）元的类似性质。此时，在必要和充分条件间存在一定的间隙。如果 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$，那么 $x$ 是极小的，如[图 24](#图24)所示。 ![图 24. 集合 $S\subseteq\mathbf{R}^2$。其关于 $\mathbf{R}_+^2$ 的极小点集合由其边界的（左下）深色部分所示。$S$ 上极小化 $\lambda_1^\TT z$ 的解为 $x_1$，因为 $\lambda_1\succ0$，所以 $x_1$ 是极小的。$S$ 上极小化 $\lambda_2^\TT z$ 的解为 $x_2$，因为 $\lambda_2\succ0$，所以它是 $S$ 的另一个极小点。](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-240-ASetAndItsSetOfMinimalPoints.png){width=400px} -  为说明这点，假设 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $S$ 上极小化 $\lambda^\TT z$，但 $x$ 不是极小元，即存在 $z\in S$ 满足 $z\neq x,z\preceq_Kx$。那么 $\lambda^\TT (x-z)>0$，这与我们的假设，即 $x$ 在 $S$ 上极小化了 $\lambda^\TT z$，相矛盾。 +> **证明** 假设 $\lambda\succ_{K^*} 0$ 并且 $x$ 在 $S$ 上极小化 $\lambda^\TT z$，但 $x$ 不是极小元，即存在 $z\in S$ 满足 $z\neq x$，$z\preceq_Kx$。那么 $\lambda^\TT (x-z)>0$，这与我们的假设，即 $x$ 在 $S$ 上极小化了 $\lambda^\TT z$，相矛盾。   其逆命题在一般情况下不成立：$S$ 上的极小元 $x$ 可以对于任何 $\lambda$ 都不是 $z\in S$ 上极小化 $\lambda^\TT z$ 的解，如[图 25](#图25)所示。此图表明了凸性在这个逆定理中的重要作用，当凸性成立时，逆定理是成立的。假设集合 $S$ 是凸集，可以说对于任意极小元 $x$，存在非零的 $\lambda\succeq_{K^*} 0$ 使得 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$。 @@ -185,7 +185,7 @@ $$ ![图 25. 点 $x$ 是 $S\subseteq\mathbf{R}^2$ 关于 $\mathbf{R}_+^2$ 的极小元。但是，不存在 $\lambda$，使得 $x$ 在 $z\in S$ 上极小化 $\lambda^\TT z$](../images/post/2024-06-13-josh-cvx-1-6/2024-06-13-josh-cvx-1-6-250-MinimalElement.png){width=350px} -  为证明这一点，假设 $x$ 是极小的，也就是说 $((x-K)\setminus\{x\})\cap S=\emptyset$。对凸集 $(x-K)\setminus\{x\}$ 和 $S$ 应用超平面分离定理，我们可以得出：存在 $\lambda\neq0$和$\mu$，使得对于所有 $y\in K$ 有 $\lambda^\TT (x-y)\leqslant\mu$,对于所有 $z\in S$ 有 $\lambda^\TT z\geqslant\mu$。根据第一个不等式，我们可知 $\lambda\succeq_{K^*} 0$。由于 $x\in S$ 和 $x\in x-K$，我们有 $\lambda^\TT x=\mu$，所以第二个不等式表明 $\mu$ 是 $S$ 上 $\lambda^\TT z$ 的最小值。因此，$x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的一个解，这里 $\lambda\neq0,\lambda\succeq_{K^*}0$。 +> **证明** 假设 $x$ 是极小的，也就是说 $((x-K)\setminus\{x\})\cap S=\emptyset$。对凸集 $(x-K)\setminus\{x\}$ 和 $S$ 应用超平面分离定理，可以得出：存在 $\lambda\neq0$ 和 $\mu$，使得对于所有 $y\in K$ 有 $\lambda^\TT (x-y)\leqslant\mu$，对于所有 $z\in S$ 有 $\lambda^\TT z\geqslant\mu$。根据第一个不等式，可知 $\lambda\succeq_{K^*} 0$。由于 $x\in S$ 和 $x\in x-K$，所以有 $\lambda^\TT x=\mu$，所以第二个不等式表明 $\mu$ 是 $S$ 上 $\lambda^\TT z$ 的最小值。因此，$x$ 是 $S$ 上极小化 $\lambda^\TT z$ 的一个解，这里 $\lambda\neq0$，$\lambda\succeq_{K^*}0$。   这个逆定理无法加强为 $\lambda\succ_{K^*} 0$。反例表明，凸集 $S$ 上的极小元 $x$，可以对于任意 $\lambda\succ_{K^*}0$，都不是 $z\in S$ 中极小化 $\lambda ^\TT z$ 的解（参见[图 26，左图](#图26)）。同时，并不是对于任意 $\lambda\succeq_{K^*} 0$，在 $z\in S$ 上极小化 $\lambda^\TT z$ 的解都一定是极小的（参见[图 26，左图](#右26)）。 diff --git a/source/_posts/2024-06-14-josh-cvx-2-1.md b/source/_posts/2024-06-14-josh-cvx-2-1.md new file mode 100644 index 0000000..d36f0b0 --- /dev/null +++ b/source/_posts/2024-06-14-josh-cvx-2-1.md @@ -0,0 +1,354 @@ +--- +title: Josh's Note — 凸优化
Part 2.1 凸函数—基本性质和例子 +mathjax: true +comments: true +copyright: true +toc: + enable: true + number: true + wrap: true + expand_all: true + max_depth: 4 +categories: + - - Josh 的学习笔记 + - 凸优化 + - 凸函数 + - - 数学 + - 凸优化 +tags: + - 凸优化 + - 凸函数 +abbrlink: 320f661c +date: 2024-06-14 20:29:26 +--- + +# 1. 定义 + +$ +\newcommand{\TT}{\mathrm{T}} +\def\dom{\mathop{\bf dom}} +\def\diag{\mathop{\bf diag}} +$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有 + +$$\begin{equation}\label{DefinitionOfConvexFunction} + f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y) +\end{equation}$$ + +  从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方(如[图 1](#图1)所示)。称函数 $f$ 是**严格凸**（*strictly convex*）的，如果式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，如果函数 $-f$ 是凸的，称函数 $f$ 是**严格凹**（*strictly concave*）的，如果 $-f$ 严格凸。 + + + +![图 1. 凸函数示意图。图上任意两点之间的弦（即线段）都在函数图像之上。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-010-ConvexFunction.png){width=400px} + + + +  对于仿射函数，不等式 $\eqref{DefinitionOfConvexFunction}$ 总成立，因此所有的仿射函数（包括线性函数）是既凸且凹的。反之，若某个函数是既凸又凹的，则其是仿射函数。函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它容许我们通过将函数限制在直线上来判断其是否是凸函数。 + +  对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，．凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。 + +# 2. 扩展值延伸 + +  通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$如下 +$$ +\tilde{f}(x)=\begin{cases} + f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f +\end{cases} +$$ + +延伸函数 $\tilde{f}$ 是定义在全空间 $\mathbf{R}^n$ 上的，取值集合为 $\mathbf{R}\cup\{\infty\}$。我们也可以从延伸函数 $\tilde{f}$ 的定义中确定原函数 $f$ 的定义域，即 $\dom f=\{x\mid\tilde{f}(x)<\infty\}$。 + +  这种延伸可以简化符号描述，此时我们就不需要明确描述定义域或者每次提到 $f(x)$ 时都限定“对于所有的 $x\in\dom f$”。以基本不等式 $\eqref{DefinitionOfConvexFunction}$ 为例，对于延伸函数 $\tilde{f}$, 可以描述为：对于任意 $x$ 和 $y$，以及 $0<\theta<1$，有 + +$$ +\tilde{f}(\theta x+(1-\theta)y)\leqslant\theta\tilde{f}(x)+(1-\theta)\tilde{f}(y) +$$ + +（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。若 $x$ 和 $y$ 都在 $\dom f$内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；如果有任何一个在 $\dom f$ 外，上述不等式的右端为$\infty$，不等式仍然成立。再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。 + +  在不会造成歧义的情况下，我们用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。 + +> **举例** **凸集的示性函数**。设 $C\subseteq\mathbf{R}^n$ 是一个凸集，考虑（凸）函数 $I_C$，其定义域为 $C$，对于所有的 $x\in C$，有 $I_C(x)=0$。换言之，此函数在集合 $C$ 上一直为零。其扩展值延伸可以描述如下 +> +> $$ +> \tilde{I}_C(x)=\begin{cases}0&x\in C\\\infty&x\not\in C.\end{cases} +> $$ +> +> 凸函数 $\tilde{I}_C$ 被称作集合 $C$ 的**示性函数**（*indicator function*）。 +> +> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$（假设其定义在整个 $\mathbf{R}^n$ 空间）的问题，我们可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，函数 $f+\tilde{I}_C$（按照我们的约定）等价于定义在集合 $C$ 上的函数 $f$。 + +  类似地，可以通过定义凹函数在定义域外都为 $-\infty$ 对其进行延伸。 + +# 3. 一阶条件 + +  假设 $f$ 可微（即其梯度$\nabla f$在开集 $\dom f$内处处存在），则函数 $f$ 是凸函数的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，下式成立 + +$$\begin{equation}\label{FirstOrderCondition} + f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x) +\end{equation}$$ + +[图 2](#图2) 描述了上述不等式。 + + + +![图 2. 如果函数 $f$ 是凸的且可微，那么对于任意 $x,y\in\dom f$，有 $f(x)+\nabla f(x)^\TT(y-x)\leqslant f( y)$。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png){width=500px} + +  由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，如果某个函数的一阶 Taylor 近似总是其全局下估计，那么这个函数是凸的。 + +  不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些全局信息（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。下面是一个简单的例子，由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。 + +  严格凸性同样可以由一阶条件刻画：函数 $f$ 严格凸的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，$x\neq y$，有 + +$$\begin{equation}\label{StrictFirstOrderCondition} + f(y)>f(x)+\nabla f(x)^\TT (y-x) +\end{equation}$$ + +  对于凹函数，亦存在与之对应的一阶条件：函数 $f$ 是凹函数的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，下式成立 + +$$ +f(y)\leqslant f(x)+\nabla f(x)^\TT (y-x) +$$ + +## 3.1 一阶凸性条件的证明 + +  为了证明式 $\eqref{FirstOrderCondition}$，先考虑 $n=1$ 的情况：我们证明可微函数 $f:\mathbf{R}\to\mathbf{R}$ 是凸函数的充要条件是对于 $\dom f$ 内的任意 $x$ 和 $y$，有 + +$$\begin{equation}\label{FirstOrderConditionWhenNEquals1} + f(y)\geqslant f(x)+f'(x)(y-x) +\end{equation}$$ + +  首先假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0 **举例** **二次函数**。考虑二次函数 $f:\mathbf{R}^n\to\mathbf{R}$，其定义域为 $\dom f=\mathbf{R}^n$，其表达式为 +> +> $$ +> f(x)=(1/2)x^\TT Px+q^\TT x+r +> $$ +> +> 其中 $P\in\mathbf{S}^{n},q\in\mathbf{R}^{n},r\in\mathbf{R}$。因为对于任意 $x,\nabla^2f(x)=P$，所以函数 $f$ 是凸的，当且仅当 $P\succeq0$（$f$是凹的当且仅当$P\preceq0$）。 +> +> 对于二次函数，严格凸比较容易表达：函数 $f$ 是严格凸的，当且仅当 $P\succ0$（函数是严格凹的当且仅当 $P\prec0$）。 + +> **注释** 在判断函数的凸性和凹性时，不管是一阶条件还是二阶条件，$\dom f$ 必须是凸集这个前提条件必须满足。例如，考虑函数 $f(x)=1/x^2$，其定义域为 $\ dom f=\{x\in$ $\mathbf{R}\mid x\neq0\}$，对于所有 $x\in\dom f$ 均满足 $f^\prime\prime(x)>0$，但是函数 $f(x)$ 并不是凸函数。 + +# 5. 例子 + +  前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。 + +- **指数函数**。对任意 $a\in\mathbf{R}$，函数 $e^ax$ 在 $\mathbf{R}$ 上是凸的。 +- **幂函数**。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数，当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。 +- **绝对值幂函数**。当 $p\geqslant1$ 时，函数 $|x|^p$在 $\mathbf{R}$ 上是凸函数。 +- **对数函数**。函数 $\log x$ 在 $\mathbf{R}_{++}$ 上是凹函数。 +- **负熵**。函数 $x\log x$ 在其定义域上是凸函数。（定义域为 $\mathbf{R}_{++}$ 或者 $\mathbf{R}_+$，当 $x=0$ 时定义函数值为 0。） + +  我们可以通过基本不等式 $\eqref{DefinitionOfConvexFunction}$ 或者二阶导数半正定或半负定来判断上述函数是凸的或是凹的。以函数 $f(x)=x\log x$ 为例，其导数和二阶导数为 + +$$ +f'(x)=\log x+1,\quad f''(x)=1/x +$$ + +即对于 $x>0$，有 $f^\prime\prime(x)>0$。所以负熵函数是（严格）凸的。 + +下面给出 $\mathbf{R}^n$ 上的一些例子。 + +**范数**。 $\mathbb{R}^n$ 上的任意范数均为凸函数。 + +**最大值函数**。函数 $f(x)=\max\{x_1,\cdots,x_n\}$ 在 $\mathbb{R}^n$ 上是凸的。 + +**二次-线性分式函数**。函数 $f(x,y)=x^2/y$，其定义域为 +$$ +\dom f= \mathbf{R} \times \mathbf{R} _{+ + }= \{ ( x, y) \in \mathbf{R} ^{2}\mid y> 0\} +$$ +是凸函数（如[图 3](#图3)所示）。 + + + +![图 3. 函数 $f(x, y) = x^2/y$ 的图像。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-030-QuadraticOverLinearFunction.png){width=400px} + +**指数和的对数**。函数 $f(x)=\log\left(e^{x_1}+\cdots+e^{x_n}\right)$ 在 $\mathbf{R}^n$上是凸函数。这个函数可以看成最大值函数的可微（实际上是解析）近似，因为对任意 $x$，下面的不等式成立 +$$ +\max\{x_{1},\cdots,x_{n}\}\leqslant f(x)\leqslant\max\{x_{1},\cdots,x_{n}\}+\log n +$$ +（第二个不等式当 $x$ 的所有分量都相等时是紧的。）[图 4](#图4) 描述了当 $n=2$ 时 $f$ 的图像。 + + + +![图 4. 函数 $f(x, y) = log(e^x + e^y)$ 的图像。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-040-LogSumExo.png){width=400px} + +**几何平均**。几何平均函数$f(x)=\left(\prod_i=1^nx_i\right)^{1/n}$在定义域 dom $f=\mathbf{R}_++^n$上是凹函数。 + +**对数-行列式**。函数$f(X)=\log\det X$在定义域$\dom f=\mathbf{S}_{++}^n$上是凹函数。 + +  判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式(3.1) 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。 + +**范数**。如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有 + +$$ +f(\theta x+(1-\theta)y)\leqslant f(\theta x)+f((1-\theta)y)=\theta f(x)+(1-\theta)f(y) +$$ + +上述不等式可以由三角不等式得到，当范数满足齐次性时，上述不等式取等号。 + +**最大值函数**。对任意 $0\leqslant\theta\leqslant1$，函数 $f(x)=\max_ix_i$ 满足 + +$$\begin{aligned} +f(\theta x+(1-\theta)y)&=\max_{i}(\theta x_{i}+(1-\theta)y_{i}) +\\ +&\leqslant\theta\max_{i}x_{i}+(1-\theta)\max_{i}y_{i} +\\ +&=\theta f(x)+(1-\theta)f(y) +\end{aligned}$$ + +**二次线性分式函数**。为了说明二次-线性分式函数 $f( x, y) = x^2/ y$ 是凸的，我们注意 +到，对于 $y>0$，有 + +$$ +\nabla^2f(x,y)=\dfrac{2}{y^3}\left[\begin{array}{cc} +y^2&-xy\\-xy&x^2 +\end{array}\right]=\dfrac{2}{y^3}\left[\begin{array}{c} +y\\-x +\end{array}\right]\left[\begin{array}{c} +y\\-x +\end{array}\right]^\TT \succeq0 +$$ + +指数和的对数。 指数和的对数函数的 Hessian 矩阵为 + +$$ +\nabla^{2}f(x)=\frac{1}{(\mathbf{1}^\TT z)^{2}}\left((\mathbf{1}^\TT z)\diag(z)-zz^\TT\right) +$$ + +其中 $z=(e^{x_1},\cdots,e^{x_n})$。为了说明 $\nabla^2f(x)\succeq0$，我们证明对任意 $v$，有 $v^\TT \nabla^2f(x)v\geqslant0$，即 + +$$ +v^\TT \nabla^{2}f(x)v=\frac{1}{(\mathbf{1}^\TT z)^{2}}\left(\left(\sum_{i=1}^{n}z_{i}\right)\left(\sum_{i=1}^{n}v_{i}^{2}z_{i}\right)-\left(\sum_{i=1}^{n}v_{i}z_{i}\right)^{2}\right)\geqslant0 +$$ + +上述不等式可以应用 Cauchy-Schwarz 不等式 $(a^\TT a)(b^\TT b)\geqslant(a^\TT b)^2$ 得到，此时向量 $a$ 和 $b$ 的分量为 $a_i= v_i\sqrt {z_i}$, $b_i= \sqrt {z_i}$。 + +**几何平均**。类似地，我们说明，几何平均函数 $f(x)=\left(\prod_{i=1}^nx_i\right)^{1/n}$ 在定义域 $\dom f=\mathbf{R}_{++}^{n}$上是凹的。其 Hessian 矩阵 $\nabla^2f(x)$ 可以通过下面两个式子给出 + +$$ +\frac{\partial^{2}f(x)}{\partial x_{k}^{2}}=-(n-1)\frac{\left(\displaystyle\prod_{i=1}^{n}x_{i}\right)^{1/n}}{n^{2}x_{k}^{2}},\quad\frac{\partial^{2}f(x)}{\partial x_{k}\partial x_{l}}=\frac{\left(\displaystyle\prod_{i=1}^{n}x_{i}\right)^{1/n}}{n^{2}x_{k}x_{l}}\quad\forall\:k\neq l +$$ + +因此 $\nabla^2f(x)$ 具有如下表达式 + +$$\nabla^{2}f(x)=-\frac{\displaystyle\prod_{i=1}^{n}x_{i}^{1/n}}{n^{2}}\left(n\:\mathbf{diag}(1/x_{1}^{2},\cdots,1/x_{n}^{2})-qq^{T}\right) +$$ + +其中，$q_i=1/x_i$。我们需要证明 $\nabla^2f(x)\preceq0$，即对于任意向量 $v$，有 + +$$ +v^TT \nabla^2f(x)v=-\frac{\displaystyle\prod_{i=1}^nx_i^{1/n}}{n^2}\left(n\sum_{i=1}^nv_i^2/x_i^2-\left(\sum_{i=1}^nv_i/x_i\right)^2\right)\leqslant0 +$$ + +这同样可以应用 Cauchy-Schwarz 不等式 $(a^TT a)(b^TT b)\geqslant(a^TT b)^2$ 得到，只需令向量 $a=1$，向量 $b$ 的分量 $b_i=v_i/x_i$。 + +**对数-行列式**。对于函数 $f(X)=\log\det X$，我们可以将其转化为任意直线上的单变量函数来验证它是凹的。令 $X=Z+tV$，其中 $Z,V\in\mathbf{S}^n$，定义 $g(t)=f(Z+tV)$，自变量 $t$ 满足 $Z+tV\succ0$。不失一般性，假设 $t=0$ 满足条件，即 $Z\succ0$。我们有 + +$$\begin{aligned} +g(t)&=\log\det(Z+tV) +\\ +&=\log\det(Z^{1/2}(I+tZ^{-1/2}VZ^{-1/2})Z^{1/2}) +\\ +&=\sum_{i=1}^{n}\log(1+t\lambda_{i})+\log\det Z +\end{aligned}$$ + +其中 $\lambda_1,\cdots,\lambda_n$ 是矩阵 $Z^-1/2VZ^{-1/2}$ 的特征值。因此下式成立 + +$$ +g'(t)=\sum_{i=1}^{n}\frac{\lambda_{i}}{1+t\lambda_{i}},\quad g''(t)=-\sum_{i=1}^{n}\frac{\lambda_{i}^{2}}{(1+t\lambda_{i})^{2}} +$$ + +因为 $g^{\prime\prime}(t)\leqslant0$，函数 $f$ 是凹的。 + +# 6. 下水平集 + +  函数 $f: \mathbf{R} ^{n}\to \mathbf{R}$ 的 $\alpha$-下水平集定义为 + +$$ +C_{\alpha}=\{x\in\mathbf{dom}f\mid f(x)\leqslant\alpha\} +$$ + +对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：如果 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。 + +  反过来不一定正确：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。例如，函数 $f(x)=-e^x$ 在 $\mathbf{R}$ 上不是凸函数（实质上，它是严格凹函数），但是其所有下水平集均为凸集。 + +  如果 $f$ 是凹函数，则由 $\{x\in\mathbf{dom}f\mid f(x)\geqslant\alpha\}$ 定义的 $\alpha$-上水平集也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。 + +> **举例** 对于 $x\in\mathbf{R}_+^n$，其几何平均和算术平均分别为 +> +> $$ +> G(x)=\left(\prod_{i=1}^{n}x_{i}\right)^{1/n},\quad A(x)=\frac{1}{n}\sum_{i=1}^{n}x_{i} +> $$ +> +> （在 $G$ 中，定义 $0^{1/n}=0$）。算术几何平均不等式为 $G(x)\leqslant A(x)$。 +> +> 设 $0\leqslant\alpha\leqslant1$，考虑集合 +> +> $$ +> \{x\in\mathbf{R}_{+}^{n}\mid G(x)\geqslant\alpha A(x)\} +> $$ +> +> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数 +$G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥 + +# 参考文献 + +1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004. +2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013. diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-010-ConvexFunction.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-010-ConvexFunction.png new file mode 100644 index 0000000..70dd6ed Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-010-ConvexFunction.png differ diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png new file mode 100644 index 0000000..0752a6b Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png differ diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-030-QuadraticOverLinearFunction.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-030-QuadraticOverLinearFunction.png new file mode 100644 index 0000000..a424d57 Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-030-QuadraticOverLinearFunction.png differ diff --git a/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-040-LogSumExo.png b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-040-LogSumExo.png new file mode 100644 index 0000000..3b87bfa Binary files /dev/null and b/source/images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-040-LogSumExo.png differ