new post

Bump hexo-word-counter from 0.2.0 to 0.2.1

_config.yml

@@ -110,24 +110,12 @@ theme: next
 ## Docs: https://hexo.io/docs/one-command-deployment
 deploy:
   - type: git
-    repo: josh@101.43.227.73:/home/josh/documents/josh-blog-deploy.git
+    repo: josh@129.153.124.210:/home/josh/documents/josh-blog-deploy.git
-    branch: master
-  - type: git
-    repo: [email protected]:/home/josh/documents/josh-blog-deploy.git
-    branch: master
-  - type: git
-    repo: [email protected]:josh-gao/josh-blog/josh-blog.git
     branch: master
   - type: git
     repo: https://github.com/joshgao22/joshgao22.github.io.git
     branch: master
 
-# MathJax [Redundant]
-# math:
-#   engine: 'mathjax'
-#   mathjax:
-#     src: https://cdnjs.cloudflare.com/ajax/libs/mathjax/3.2.2/es5/tex-mml-chtml.min.js
-
 # Local Search
 search:
   path: search.xml
@@ -201,12 +189,18 @@ neat_js:
 
 related_posts:
   enabled: true
+  enable_env_name: prod
   filter_threshold: 0.13
   related_count: 5
   weight:
     title: 0.1
-    description: 0
+    description: 0.01
-    keywords: 0
+    keywords: 0.01
-    tags: 0.01
+    tags: 0.005
-    categories: 0.05
+    categories: 0.005
-    text: 0
+    text: 0.2
+
+# config of hexo-renderer-pandoc
+pandoc:
+  args:
+    - --mathjax

package.json

@@ -9,31 +9,31 @@
     "server": "hexo server"
   },
   "hexo": {
-    "version": "7.2.0"
+    "version": "7.3.0"
   },
   "dependencies": {
-    "@next-theme/plugins": "^8.20.0",
+    "@next-theme/plugins": "^8.23.1",
-    "hexo": "^7.2.0",
+    "hexo": "^7.3.0",
     "hexo-abbrlink": "^2.2.1",
     "hexo-deployer-git": "^4.0.0",
     "hexo-filter-github-emojis": "^3.0.5",
     "hexo-generator-archive": "^2.0.0",
     "hexo-generator-category": "^2.0.0",
-    "hexo-generator-index": "^3.0.0",
+    "hexo-generator-index": "^4.0.0",
-    "hexo-generator-searchdb": "^1.4.1",
+    "hexo-generator-searchdb": "^1.5.0",
     "hexo-generator-sitemap": "^3.0.1",
     "hexo-generator-tag": "^2.0.0",
     "hexo-helper-live2d": "^3.1.1",
-    "hexo-markmap": "^1.2.5",
+    "hexo-markmap": "^2.0.8",
     "hexo-neat": "^1.0.9",
-    "hexo-related-posts": "^1.5.2",
+    "hexo-related-posts": "^1.6.2",
     "hexo-renderer-ejs": "^2.0.0",
-    "hexo-renderer-pandoc": "^0.4.0",
+    "hexo-renderer-pandoc": "^0.5.0",
     "hexo-renderer-stylus": "^3.0.1",
     "hexo-server": "^3.0.0",
     "hexo-tag-cloud": "2.1.*",
-    "hexo-theme-landscape": "^1.0.0",
+    "hexo-theme-landscape": "^1.1.0",
-    "hexo-theme-next": "^8.20.0",
+    "hexo-theme-next": "^8.23.1",
-    "hexo-word-counter": "^0.2.0"
+    "hexo-word-counter": "^0.2.1"
   }
 }

source/_drafts/2024-06-29-zynq-debug-fsbl.md

@@ -0,0 +1,36 @@
+---
+title: Zynq 系列 SoC / MPSoC 创建可调试的 FSBL
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: true
+  wrap: true
+  expand_all: true
+  max_depth: 4
+tags:
+  - 调试记录
+  - MPSoC
+  - RFSoC
+  - Zynq
+  - FSBL
+categories:
+  - 调试记录
+date: 2024-06-29 16:46:38
+---
+
+FSBL 可以初始化 SoC 设备，将所需的应用程序或数据加载到内存，并在目标 CPU 核心上启动应用程序。
+
+在 Vitis 中创建 Platform 时，可以选择同时创建 FSBL，这样 FSBL 就会位于 Platform 下。也可以创建单独的 FSBL 程序，作为普通程序使用，以便进一步修改或调试。
+
+本文以 Zynq UltraScale+ RFSoC 为例，对 FSBL 进行调试。
+
+# 名词释义
+
+- [FSBL](https://xilinx-wiki.atlassian.net/wiki/spaces/A/pages/18842019/Zynq+UltraScale+FSBL#ZynqUltraScale+FSBL-WhatisFSBL?)：First Stage Bootloader，第一阶段引导加载程序
+- [SoC](https://en.wikipedia.org/wiki/System_on_a_chip)：System-on-Chip，片上系统
+
+# 参考文档
+
+[Creating a Debuggable First Stage Boot Loader](https://xilinx.github.io/Embedded-Design-Tutorials/docs/2021.1/build/html/docs/Feature_Tutorials/debuggable-fsbl/debuggable-fsbl.html)

source/_drafts/2025-06-26-josh-adv-math-1-2.md

@@ -0,0 +1,35 @@
+---
+title: Josh's Summary — 工科数学分析<br>Part 1.2 常微分方程
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: true
+  wrap: true
+  expand_all: true
+  max_depth: 4
+tags:
+  - 高等数学
+  - 数学分析
+  - 微积分
+categories:
+  - - Josh 的学习笔记
+    - 高等数学
+  - - 数学
+    - 数学分析
+abbrlink: 5a263f58
+date: 2025-06-26 10:21:02
+---
+
+# 常见等价无穷小
+
+1. $\sin x \sim x$
+2. $\tan x \sim x$
+3. $\arcsin x \sim x$
+4. $\arctan x \sim x$
+5. $1 - \cos x \sim \frac{x^2}{2}$
+6. $\ln(1+x) \sim x$
+7. $e^x - 1 \sim x$
+8. $a^x - 1 \sim x \ln a$
+9. $(1+x)^\alpha - 1 \sim \alpha x$

source/_posts/2023-04-14-calculas-formulas.md

@@ -1,194 +0,0 @@
----
-title: 高等数学常用公式
-mathjax: true
-comments: true
-copyright: true
-toc:
-  enable: true
-  number: false
-  wrap: true
-  expand_all: true
-  max_depth: 4
-abbrlink: 1823c9d1
-date: 2023-04-14 16:25:59
-tags:
-  - 等价无穷小
-  - 导数公式
-  - Maclaurin 公式
-  - 曲率
-  - 积分公式
-  - 三角函数
-categories:
-  - [数学, 微积分]
----
-
-# 1. 常见等价无穷小
-
-||||
-| :--: | :--: | :--: |
-| $\sin x \sim x$ | $\tan x \sim x$ | $\arcsin x \sim x$ |
-| $\arctan x \sim x$ | $\displaystyle\left( 1 - \cos x \right) \sim \frac{x^2}{2}$ | $\ln (1+x) \sim x$ |
-| $\left( e^x -1 \right) \sim x$ | $\left( a^x - 1 \right) \sim x \ln a$ | $\left( \left( 1+x \right) ^\alpha -1 \right) \sim \alpha x$  |
-
-<!-- more -->
-
-# 2. 导数基本公式
-
-| 一般函数 | 三角函数 | 反三角函数 | 双曲函数<br>(圆函数) |
-| :--: | :--: | :--: | :----: |
-| $\left( C \right)' = 0$ | $\left( \sin x \right)' = \cos x$ | $\displaystyle\left( \arcsin x \right)' = \frac{1}{\sqrt{1-x^2}}$ | $\displaystyle\left( \sinh x \right)' = \left(\frac{e^x-e^{-x}}{2}\right)' = \cosh x$ |
-| $\left( x^\alpha \right)'=\alpha x^{\alpha-1} \left( \alpha \in  \mathbf{Z} \right)$ | $\left( \cos x \right)' = -\sin x$ | $\displaystyle\left( \arccos x \right)' = -\frac{1}{\sqrt{1-x^2}}$ | $\displaystyle\left( \cosh x \right)' = \left( \frac{e^x+e^{-x}}{2} \right)'=\sinh x$ |
-| $\displaystyle\left( \log_ax\right)'=\frac{1}{x\ln a}$ | $\displaystyle\left( \tan x \right)' = \frac{1}{\cos^2 x}=\sec^2 x$ | $\displaystyle\left( \arctan x \right)' = \frac{1}{1+x^2}$ | $\displaystyle\left( \mathrm{arsinh} \, x \right)' = \left(\ln \left( x+\sqrt{x^2 + 1} \right) \right)' = \frac{1}{x^2+1}$ |
-| $( \ln$\| $x$ \|$)'=\displaystyle\frac{1}{x}$ | $\displaystyle\left( \cot x \right)' = -\frac{1}{\sin^2 x} = -\csc^2 x$ | $\displaystyle\left( \mathrm{arccot} \, x \right)' = -\frac{1}{1+x^2}$ | $\displaystyle\left( \mathrm{arcosh} \, x \right)' = \left( \ln \left( x + \sqrt{x^2 - 1} \right) \right)' = \frac{1}{\sqrt{x^2-1}}$
-|  | $\left( \sec x \right)' = \sec x \cdot \tan x$ |
-|  | $\left( \csc x \right)' = \csc x \cdot \cot x$ |
-
-- Newton-Leibniz 公式：
-
-  $$
-  \begin{aligned}
-  \left( u \cdot v \right)^{\left( n \right)} &= u^{\left( n \right)}v + nu^{\left( n-1 \right)}v' + \frac{n \left( n-1 \right)}{2!}u^{\left( n-2 \right)}v'' + \cdots + \frac{n\left( n-1 \right)\cdots\left(n-k+1\right)}{k!}u^{\left( n-k \right)}v^{(k)} + \cdots + uv^{\left( n \right)} \\
-  &= \sum_{k=0}^{n}C_n^k u^{\left( u-k \right)}v^k
-  \end{aligned}
-  $$
-
-  可以注意到 Newton-Leibniz 公式具有类似二项式定理展开的形式。
-
-# 3. 几个初等函数的 Maclaurin 公式
-
-## 3.1 Taylor 公式的一般形式
-
-$$
-f(x)=f(x_0) + f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \cdots + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n + R_n
-$$
-
-其中
-
-$$
-R_n = \frac{f^{(n+1)}(\xi)}{(n+1)!}(x-x_0)^{n+1} \, (\xi\,在\,x\,和\,x_0\,之间) = o\left( \left( x - x_0 \right)^n \right)(x\to x_0)
-$$
-
-## 3.2 Maclaurin 公式的一般形式
-
-$$
-f(x)=f(0)+f'(0)\,x + \frac{f''(0)}{2!}x^2 + \cdots + \frac{f^{(n)}(0)}{n!}x^n + R_n
-$$
-
-其中
-
-$$
-R_n = \frac{f^{(n+1)}(\xi)}{(n+1)!}x^{n+1} \, (\xi\,在\,0\,和\,x\,之间) = \frac{f^{(n+1)}(\theta x)}{(n+1)!} x^{n+1}(0<\theta<1) = o\left( \left( x - x_0 \right)^n \right)(x\to x_0)
-$$
-
-## 3.3 指数函数的 Maclaurin 展开式
-
-$$
-e^x=1+x+\frac{x^2}{2} + \frac{x^3}{3} + \cdots +\frac{x^n}{n!} + \frac{e^{\theta x}}{(n+1)!}(0<\theta<1)
-$$
-
-## 3.4 正弦函数的 Maclaurin 展开式
-
-$$
-\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} + \cdots + (-1)^{m-1}\frac{x^{2m-1}}{(2m-1)!} + R_{2m}
-$$
-
-其中
-
-$$
-R_{2m}=\frac{\sin\left( \theta x + \frac{(2m-1)\pi}{2}\right)}{(2m+1)!}x^{2m+1} = o(x^{2m})(0<\theta <1)
-$$
-
-## 3.5 余弦函数的 Maclaurin 展开式
-
-$$
-\cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} + \cdots + (-1)^m\frac{x^{2m}}{2m!} + R_{2m+1}
-$$
-
-其中
-
-$$
-R_{2m+1}=\frac{\cos(\theta x + (m+1)\pi)}{(2m+2)!} x^{2m+2}=o(x^{2m+2}) (0<\theta <1)
-$$
-
-## 3.6 $\ln (1+x)$ 的 Maclaurin 展开式
-
-$$
-\ln(1+x) = x - \frac{x^2}{2} + \frac{x^3}{3} -\frac{x^4}{4} + \cdots + \frac{(-1)^{n-1}x^n}{n} + R_n(x)
-$$
-
-其中
-
-$$
-R_n(x) = \frac{(-1)^n}{(n+1)(1+\theta x)^{n+1}}x^{n+1} = o(x^n)(0<\theta <1)
-$$
-
-## 3.7 $(1+x)^\alpha$ 的 Maclaurin 展开式
-
-$$
-(1+x)^\alpha = 1 + \alpha x + \frac{\alpha(\alpha-1)}{2!}x^2 + \cdots + \frac{\alpha(\alpha - 1)\cdots (\alpha-n+1)}{n!}x^n + R_n(x)
-$$
-
-其中
-
-$$
-R_n(x) = \frac{\alpha(\alpha -1)\cdots(\alpha-n)}{(n+1)!}(1+\theta x)^{\alpha-n-1}x^{n+1} = o(x)(0<\theta <1)
-$$
-
-## 3.8 $\frac{1}{1-x}$ 的 Maclaurin 展开式
-
-$$
-\frac{1}{1-x} = 1+x+x^2+\cdots+x^n +o(x^n)
-$$
-
-# 4. 曲率及曲率半径
-
-| 曲率 | 曲率半径 |
-| :--: | :--: |
-| $K=\left\| \dfrac{\mathrm{d}\alpha}{\mathrm{d}s}\right\| \xlongequal{\tan \alpha = y' \Rightarrow \alpha = \arctan y'} \dfrac{\left\| \frac{y''}{1+y'^2}\mathrm{d}x \right\|}{\sqrt{1+y'^2}}\mathrm{d}x = \dfrac{\left\| y'' \right\|}{\left( 1 + y' \right)^\frac{3}{2}}$ | $R = \frac{1}{K}$ |
-
-# 5. 积分常用公式
-
-| 序 | 描述 | 公式 |
-| :--: | :----: | :----------------------------------------------:|
-| 1 | 定积分的定义 | $\displaystyle\int^1_0f(x)\mathrm{d}x=I=\lim_{\lambda \to 0}\sum_{i=1}^{n}f(\xi_i)\Delta x_i$，其中 $\lambda = \max \left\{ \Delta x_1,\Delta x_2, \cdots, \Delta x_n \right\}$ |
-| 2 | 变上限积分 | $考察定积分\displaystyle\int^x_af(x)\mathrm{d}x=\int^x_af(t)\mathrm{d}t$，对 $\displaystyle\Phi(x)=\int_a^xf(t)\mathrm{d}t$，有  $\displaystyle\Phi'(x)=\frac{\mathrm{d}}{\mathrm{d}x}\int_a^xf(t)\mathrm{d}t = f(x)$ |
-| 3. | — | $\displaystyle\frac{\mathrm{d}}{\mathrm{d}x}\int^{\beta(x)}_{\alpha(x)}f'(t)\mathrm{d}t = f\left[ \beta\left(x\right)\right]\beta'(x)-f[\alpha(x)]\alpha'(x)$ |
-| 4 | 上下限对称的积分 | 若 $f(x)$ 为偶函数，则 $\displaystyle\int_{-a}^af(x)\mathrm{d}x=2\int_0^af(x)\mathrm{d}x$；若 $f(x)$ 为奇函数，则 $\displaystyle\int_{-a}^af(x)\mathrm{d}x=0$ |
-| 5 | 周期函数的积分 | $\displaystyle f(x+T)=f(x)\Rightarrow\int_0^{nT}f(x)\mathrm{d}x=n\int^T_0f(x)\mathrm{d}x$ |
-| 6 | 分部积分法 | $\displaystyle\int uv'\mathrm{d}x=uv - \int u'v\mathrm{d}x \Leftrightarrow \int u\mathrm{d}v = uv - \int v\mathrm{d}u$ |
-
-# 6. 基本积分表
-
-| 序 | 积分式 |
-| :--: | :-------------------------: |
-| 1 | $\displaystyle\int k\mathrm{d}x=kx+C$，特别地 $\displaystyle\int\mathrm{d}x=x+C$ |
-| 2 | $\displaystyle\int x^\mu\mathrm{d}x=\frac{x^{\mu+1}}{\mu+1}+C(\mu\ne-1)$，特别地 $\displaystyle\int \frac{\mathrm{d}x}{x^2}=-\frac{1}{x}+C,\int\frac{\mathrm{d}x}{\sqrt{x}}=2\sqrt{x}+C$ |
-| 3 | $\displaystyle\int\frac{\mathrm{d}x}{x}=\ln \|x\|+C$ |
-| 4 | $\displaystyle\int\frac{\mathrm{d}x}{1+x^2} = \arctan x +C$ |
-| 5 | $\displaystyle\int\frac{\mathrm{d}x}{\sqrt{1-x^2}}=\arcsin x+C$ |
-| 6 | $\displaystyle\int\sin x\mathrm{d}x = -\cos x+C, \int\cos x\mathrm{d}x = \sin x +C$ |
-| 7 | $\displaystyle\int\frac{\mathrm{d}x}{\cos^2x} = \int\sec^2x\mathrm{d}x = \tan x +C, \int\frac{\mathrm{d}x}{\sin^2x}=\int\csc^2x\mathrm{d}x = -\cot x +C$ |
-| 8 |  $\displaystyle\int a^x\mathrm{d}x = \frac{a^x}{\ln a} + C$，特别地 $\displaystyle\int e^x\mathrm{d}x = e^x +C$
-| 9 | $\displaystyle\int \sinh x\mathrm{d}x = \cosh x + C，\int \cosh x \mathrm{d}x=\sinh x +C$ |
-
-# 7. 三角函数相关公式
-
-| 序 | 公式 |
-| :--: | :-------------------------: |
-| 1 | $\sin^2x+\cos^2x=1, \tan^2x+1=\sec^2x,\cot^2x+1=\csc^2x$ |
-| 2 | $\begin{aligned}&\cosh^2x-\sinh^2x=1,\\ &\sinh(x\pm y)=\sinh x\cdot\cosh y \pm \sinh y\cdot\cosh x, \cosh(x\pm y) = \cosh x\cdot\cosh y,\\ &\sinh2x = 2\sinh x\cdot \cosh x, \cosh 2x = \cosh^2x+\sinh^2x = 2\cosh^2x - 1\end{aligned}$ |
-| 3<br>积化和差公式 | $\sin\alpha\cos\beta=\frac12[\sin(\alpha+\beta)+\sin(\alpha-\beta)],\cos\alpha\sin\beta = \frac12[\sin(\alpha+\beta) - \sin(\alpha-\beta)]$ <br> $\cos\alpha\cos\beta = \frac12[cos(\alpha+\beta) + cos(\alpha - \beta)], \sin\alpha\sin\beta=-\frac12[\cos(\alpha+\beta) - \cos(\alpha-\beta)]$ |
-| 4<br>和差化积公式 | $\displaystyle\sin\alpha + \sin\beta = 2\sin\left(\frac{\alpha+\beta}{2}\right) \cos\left(\frac{\alpha-\beta}{2}\right), \sin\alpha - \sin\beta = 2\sin\left(\frac{\alpha-\beta}{2}\right) \cos\left(\frac{\alpha+\beta}{2}\right)$ <br> $\displaystyle\cos\alpha + \cos\beta = 2\cos\left(\frac{\alpha+\beta}{2}\right) \cos\left(\frac{\alpha-\beta}{2}\right), \cos\alpha - \cos\beta = -2\sin\left(\frac{\alpha+\beta}{2}\right) \sin\left(\frac{\alpha-\beta}{2}\right)$ |
-| 5<br>三角代换 | $\displaystyle\sqrt{a^2-x^2}\xrightarrow{x=a\sin t}a\cos t, \sqrt{a^2+x^2} \xrightarrow{x=a\tan t}a\sec t, \sqrt{x^2-a^2}\xrightarrow{x=a\sec t}a\tan t \left( a>0,t\in\left( -\frac{\pi}{2} , \frac{\pi}{2} \right) \right)$ |
-| 6 | $\displaystyle\int\sqrt{a^2-x^2}\mathrm{d}x = \frac{a^2}{2}\arcsin\frac xa + \frac12x\sqrt{a^2-x^2} + C(a>0)$ |
-| 7 | $\displaystyle\int\sqrt{x^2+a^2}\mathrm{d}x = \frac x2\sqrt{x^2+a^2} + \frac{a^2}2\ln \left\| x+\sqrt{x^2+a^2} \right\|+C(a>0)$ |
-| 8 | $\displaystyle\int\frac{1}{\sqrt{x^2+a^2}}\mathrm{d}x = \ln\left\| x+ \sqrt{x^2+a^2} \right\| +C$, $\displaystyle\int\frac{1}{\sqrt{x^2-a^2}}\mathrm{d}x = \ln\left\| x + \sqrt{x^2+a^2}\right\|(a>0)$，特别地，$\displaystyle\int\frac{1}{\sqrt{x^2+1}}\mathrm{d}x=\left(x+\sqrt{x^2+1}\right) = \mathrm{arsinh}\, x$, $\displaystyle\int\frac{1}{\sqrt{x^2-1}}\mathrm{d}x = \ln\left( x+\sqrt{x^2-1}\right) = \mathrm{arcosh}\, x$ |
-| 9 | $\displaystyle\int\sec x\mathrm{d}x = \int\frac{1}{\cos x}\mathrm{d}x = \int\frac{\sec^2x+\sec x \tan x}{\sec x + \tan x}\mathrm{d}x = \int\frac{1}{\sec x + \tan x}\mathrm{d}(\sec x + \tan x) = \ln \left\| \sec x + \tan x \right\| + C$ |
-| 10 | $\displaystyle\int\csc x\mathrm{d}x = \int\frac{1}{\sin x}\mathrm{d}x = \ln\left\| \tan\frac x2 \right\| + C = \frac 12 \ln \left\| \frac{1-\cos x}{1 + \cos x}\right\| + C$ |
-| 11 | $\displaystyle\int\tan x\mathrm{d}x = \int\frac{\sin x}{\cos x}\mathrm{d}x = -\int\frac{1}{\cos x}\mathrm{d}(\cos x) = -\ln \left\| \cos x\right\| +C$ |
-| 12 | $\displaystyle\int\frac{1}{\tan x}\mathrm{d}x = \int\frac{\cos x}{\sin x}\mathrm{d}x = \int\frac{1}{\sin x}\mathrm{d}(\sin x) = \ln\left\| \sin x \right\| + C$ |
-| 13 | $\displaystyle\int\arctan x\mathrm{d}x = x\arctan x - \ln \left\| 1+x^2 \right\| +C$ |
-| 14<br>Wallis 公式 | $\displaystyle\int^{\frac{\pi}{2}}_{0}\sin^nx\mathrm{d}x = \int^{\frac{\pi}{2}}_{0}\cos^nx\mathrm{d}x = \begin{cases} \displaystyle\frac{n-1}{n}\cdot\frac{n-3}{n-2}\cdot\cdots\cdot\frac12\cdot\frac\pi2,&n为偶数 \\ \displaystyle\frac{n-1}{n}\cdot\frac{n-3}{n-2}\cdot\cdots\cdot\frac23\cdot1,&n为奇数 \end{cases} \\ = \begin{cases} \displaystyle\frac{(n-1)!!}{n!!}\cdot\frac\pi2,&n为偶数 \\ \displaystyle\frac{(n-1)!!}{n!!},&n为奇数 \end{cases}$ |
-| 15 | $\displaystyle\int_0^\pi\sin^nx\mathrm{d}x = 2\int^\frac\pi2_0\sin^nx\mathrm{d}x,\int_0^\pi\cos^nx\mathrm{d}x = \begin{cases} 2\displaystyle\int^\frac\pi2_0\cos^nx\mathrm{d}x,&n为偶数 \\ 0,&n为奇数 \end{cases}$ <br> $\displaystyle\int_0^{2\pi}\sin^nx = \int_0^{2\pi}\cos^nx\mathrm{d}x = \begin{cases} 4\displaystyle\int^\frac\pi2_0\sin^nx\mathrm{d}x,&n为偶数 \\ 0,&n为奇数 \end{cases}$ <br> $\displaystyle\int_0^\frac\pi2f(\sin x)\mathrm{d}x = \int_0^\frac\pi2f(\cos x)\mathrm{d}x$, $\displaystyle\int_0^\pi f(\sin x)\mathrm{d}x \ne \int_0^\pi f(\cos x)\mathrm{d}x$ <br> $\displaystyle\int_0^\pi\pi f(\sin x)\mathrm{d}x = \frac\pi2\int_0^\pi f(\sin x)\mathrm{d}x = \pi\int_0^\frac\pi2 f(\sin x)\mathrm{d}x$ |
-| 16<br>万能公式 | 令 $u=\displaystyle\tan\frac x2,x=2\arctan u$，则 $\displaystyle\sin x = \frac{2u}{1+u^2},\cos x=\frac{1-u^2}{1+u^2}, \mathrm{d}x = \frac{2}{1+u^2}\mathrm{d}u$ |
-| 17 | $\displaystyle\int \frac{a\cos x+ b\sin x}{c\cos x + d \sin x} = A\int\mathrm{d}x+B\int\frac{\mathrm{d}(c\cos x+d \sin x)}{c \cos x + d \sin x}$ <br> (设 $a\cos x + b\sin x = A(c \cos x + d \sin x) + B(c \cos x + d \sin x)'$，由待定系数法求出A、B)$ |

source/_posts/2023-04-14-josh-adv-math-1-1.md

@@ -0,0 +1,285 @@
+---
+title: Josh's Summary — 工科数学分析<br>Part 1.1 基本微分与积分
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: false
+  wrap: true
+  expand_all: true
+  max_depth: 4
+abbrlink: 1823c9d1
+date: 2023-04-14 16:25:59
+tags:
+  - 等价无穷小
+  - 导数公式
+  - Maclaurin 公式
+  - 曲率
+  - 积分公式
+  - 三角函数
+categories:
+  - - Josh 的学习笔记
+    - 微积分
+  - - 数学
+    - 微积分
+---
+
+$\newcommand\diff{\mathop{}\!\mathrm{d}}$
+
+# 1. 常见等价无穷小
+
+||||
+| :--: | :--: | :--: |
+| $\sin x \sim x$ | $\tan x \sim x$ | $\arcsin x \sim x$ |
+| $\arctan x \sim x$ | $\displaystyle\left( 1 - \cos x \right) \sim \dfrac{x^2}{2}$ | $\ln (1+x) \sim x$ |
+| $\left( e^x -1 \right) \sim x$ | $\left( a^x - 1 \right) \sim x \ln a$ | $\left( \left( 1+x \right) ^\alpha -1 \right) \sim \alpha x$  |
+
+<!-- more -->
+
+# 2. 导数基本公式
+
+| 一般函数 | 三角函数 | 反三角函数 | 双曲函数<br>(圆函数) |
+| :--: | :--: | :--: | :----: |
+| $\left( C \right)' = 0$ | $\left( \sin x \right)' = \cos x$ | $\displaystyle\left( \arcsin x \right)' = \dfrac{1}{\sqrt{1-x^2}}$ | $\displaystyle\left( \sinh x \right)' = \left(\dfrac{e^x-e^{-x}}{2}\right)' = \cosh x$ |
+| $\left( x^\alpha \right)'=\alpha x^{\alpha-1} \left( \alpha \in  \mathbb{Z} \right)$ | $\left( \cos x \right)' = -\sin x$ | $\displaystyle\left( \arccos x \right)' = -\dfrac{1}{\sqrt{1-x^2}}$ | $\displaystyle\left( \cosh x \right)' = \left( \dfrac{e^x+e^{-x}}{2} \right)'=\sinh x$ |
+| $\displaystyle\left( \log_ax\right)'=\dfrac{1}{x\ln a}$ | $\displaystyle\left( \tan x \right)' = \dfrac{1}{\cos^2 x}=\sec^2 x$ | $\displaystyle\left( \arctan x \right)' = \dfrac{1}{1+x^2}$ | $\displaystyle\left( \mathrm{arsinh} \, x \right)' = \left(\ln \left( x+\sqrt{x^2 + 1} \right) \right)' = \dfrac{1}{x^2+1}$ |
+| $( \ln$\| $x$ \|$)'=\displaystyle\dfrac{1}{x}$ | $\displaystyle\left( \cot x \right)' = -\dfrac{1}{\sin^2 x} = -\csc^2 x$ | $\displaystyle\left( \mathrm{arccot} \, x \right)' = -\dfrac{1}{1+x^2}$ | $\displaystyle\left( \mathrm{arcosh} \, x \right)' = \left( \ln \left( x + \sqrt{x^2 - 1} \right) \right)' = \dfrac{1}{\sqrt{x^2-1}}$
+|  | $\left( \sec x \right)' = \sec x \cdot \tan x$ |
+|  | $\left( \csc x \right)' = \csc x \cdot \cot x$ |
+
+- Newton-Leibniz 公式：
+
+  $$
+  \begin{aligned}
+  \left( u \cdot v \right)^{\left( n \right)} &= u^{\left( n \right)}v + nu^{\left( n-1 \right)}v' + \dfrac{n \left( n-1 \right)}{2!}u^{\left( n-2 \right)}v'' + \cdots + \dfrac{n\left( n-1 \right)\cdots\left(n-k+1\right)}{k!}u^{\left( n-k \right)}v^{(k)} + \cdots + uv^{\left( n \right)} \\
+  &= \sum_{k=0}^{n}C_n^k u^{\left( u-k \right)}v^k
+  \end{aligned}
+  $$
+
+  可以注意到 Newton-Leibniz 公式具有类似二项式定理展开的形式。
+
+# 3. 几个初等函数的 Maclaurin 公式
+
+## 3.1 Taylor 公式的一般形式
+
+$$\begin{aligned}
+f(x)&=f(x_0) + f'(x_0)(x-x_0) + \dfrac{f''(x_0)}{2!}(x-x_0)^2 + \cdots + \dfrac{f^{(n)}(x_0)}{n!}(x-x_0)^n + R_n
+\\
+&= \sum_{k=0}^n \dfrac{f^{(n)}(x_0)}{n!}(x - x_0)^n + R_n
+\end{aligned}$$
+
+其中
+
+$$
+R_n = \dfrac{f^{(n+1)}(\xi)}{(n+1)!}(x-x_0)^{n+1} \xlongequal{x\to x_0} o\left( \left( x - x_0 \right)^n \right), \quad \xi\,在\,x\,和\,x_0\,之间
+$$
+
+## 3.2 Maclaurin 公式的一般形式
+
+$$\begin{aligned}
+f(x) &= f(0)+f'(0)\,x + \dfrac{f''(0)}{2!}x^2 + \cdots + \dfrac{f^{(n)}(0)}{n!}x^n + R_n
+\\
+&= \sum_{k=0}^n \dfrac{f^{(n)}(0)}{n!}x^n + R_n
+\end{aligned}$$
+
+其中
+
+$$
+R_n = \dfrac{f^{(n+1)}(\xi)}{(n+1)!}x^{n+1} = \dfrac{f^{(n+1)}(\theta x)}{(n+1)!} x^{n+1} \xlongequal{x\to x_0} o\left( \left( x - x_0 \right)^n \right), \quad \xi\,在\,0\,和\,x\,之间, 0<\theta<1
+$$
+
+## 3.3 指数函数的 Maclaurin 展开式
+
+$$
+e^x=1+x+\dfrac{x^2}{2} + \dfrac{x^3}{3} + \cdots +\dfrac{x^n}{n!} + \dfrac{e^{\theta x}}{(n+1)!}, \quad 0<\theta<1
+$$
+
+## 3.4 正弦函数的 Maclaurin 展开式
+
+$$
+\sin x = x - \dfrac{x^3}{3!} + \dfrac{x^5}{5!} + \cdots + (-1)^{m-1}\dfrac{x^{2m-1}}{(2m-1)!} + R_{2m}
+$$
+
+其中
+
+$$
+R_{2m}=\dfrac{\sin\left( \theta x + \dfrac{(2m-1)\pi}{2}\right)}{(2m+1)!}x^{2m+1} = o(x^{2m}), \quad 0<\theta<1
+$$
+
+## 3.5 余弦函数的 Maclaurin 展开式
+
+$$
+\cos x = 1 - \dfrac{x^2}{2!} + \dfrac{x^4}{4!} + \cdots + (-1)^m\dfrac{x^{2m}}{2m!} + R_{2m+1}
+$$
+
+其中
+
+$$
+R_{2m+1}=\dfrac{\cos(\theta x + (m+1)\pi)}{(2m+2)!} x^{2m+2}=o(x^{2m+2}), \quad 0<\theta<1
+$$
+
+## 3.6 $\ln (1+x)$ 的 Maclaurin 展开式
+
+$$
+\ln(1+x) = x - \dfrac{x^2}{2} + \dfrac{x^3}{3} -\dfrac{x^4}{4} + \cdots + \dfrac{(-1)^{n-1}x^n}{n} + R_n(x)
+$$
+
+其中
+
+$$
+R_n(x) = \dfrac{(-1)^n}{(n+1)(1+\theta x)^{n+1}}x^{n+1} = o(x^n), \quad 0<\theta<1
+$$
+
+## 3.7 $(1+x)^\alpha$ 的 Maclaurin 展开式
+
+$$
+(1+x)^\alpha = 1 + \alpha x + \dfrac{\alpha(\alpha-1)}{2!}x^2 + \cdots + \dfrac{\alpha(\alpha - 1)\cdots (\alpha-n+1)}{n!}x^n + R_n(x)
+$$
+
+其中
+
+$$
+R_n(x) = \dfrac{\alpha(\alpha -1)\cdots(\alpha-n)}{(n+1)!}(1+\theta x)^{\alpha-n-1}x^{n+1} = o(x), \quad 0<\theta<1
+$$
+
+## 3.8 $\dfrac{1}{1-x}$ 的 Maclaurin 展开式
+
+$$
+\dfrac{1}{1-x} = 1+x+x^2+\cdots+x^n +o(x^n)
+$$
+
+# 4. 曲率及曲率半径
+
+| 曲率 | 曲率半径 |
+| :--: | :--: |
+| $K=\left\| \dfrac{\diff \alpha}{\diff s}\right\| \xlongequal{令\ \tan \alpha = y', 则\ \alpha = \arctan y'} \dfrac{\left\| \dfrac{y''}{1+y'^2}\diff x \right\|}{\sqrt{1+y'^2}}\diff x = \dfrac{\left\| y'' \right\|}{\left( 1 + y' \right)^{3/2}}$ | $R = \dfrac{1}{K}$ |
+
+# 5. 积分常用公式
+
+| 序 | 描述 | 公式 |
+| :--: | :----: | :----------------------------------------------:|
+| 1 | 定积分的定义 | $\displaystyle\int^1_0f(x)\diff x=I=\lim_{\lambda \to 0}\sum_{i=1}^{n}f(\xi_i)\Delta x_i$，其中 $\lambda = \max \left\{ \Delta x_1,\Delta x_2, \cdots, \Delta x_n \right\}$ |
+| 2 | 变上限积分 | $考察定积分\displaystyle\int^x_af(x)\diff x=\int^x_af(t)\diff t$，对 $\displaystyle\Phi(x)=\int_a^xf(t)\diff t$，有  $\displaystyle\Phi'(x)=\dfrac{\diff }{\diff x}\int_a^xf(t)\diff t = f(x)$ |
+| 3 | 变上限积分的扩展 | $\displaystyle\dfrac{\diff }{\diff x}\int^{\beta(x)}_{\alpha(x)}f'(t)\diff t = f\left[ \beta\left(x\right)\right]\beta'(x)-f[\alpha(x)]\alpha'(x)$ |
+| 4 | 上下限对称的积分 | 若 $f(x)$ 为偶函数，则 $\displaystyle\int_{-a}^af(x)\diff x=2\int_0^af(x)\diff x$；若 $f(x)$ 为奇函数，则 $\displaystyle\int_{-a}^af(x)\diff x=0$ |
+| 5 | 周期函数的积分 | $\displaystyle f(x+T)=f(x)\Rightarrow\int_0^{nT}f(x)\diff x=n\int^T_0f(x)\diff x$ |
+| 6 | 分部积分法 | $\displaystyle\int uv'\diff x=uv - \int u'v\diff x \Leftrightarrow \int u\diff v = uv - \int v\diff u$ |
+
+# 6. 基本积分表
+
+| 序 | 积分式 |
+| :--: | :-------------------------: |
+| 1 | $\displaystyle\int k\diff x=kx+C$，特别地 $\displaystyle\int\diff x=x+C$ |
+| 2 | $\displaystyle\int x^\mu\diff x=\dfrac{x^{\mu+1}}{\mu+1}+C(\mu\ne-1)$，特别地 $\displaystyle\int \dfrac{1}{x^2}\diff x=-\dfrac{1}{x}+C,\int\dfrac{1}{\sqrt{x}}\diff x=2\sqrt{x}+C$ |
+| 3 | $\displaystyle\int\dfrac{1}{x}\diff x=\ln \|x\|+C$ |
+| 4 | $\displaystyle\int\dfrac{1}{1+x^2}\diff x = \arctan x +C$ |
+| 5 | $\displaystyle\int\dfrac{1}{\sqrt{1-x^2}}\diff x=\arcsin x+C$ |
+| 6 | $\displaystyle\int\sin x\diff x = -\cos x+C, \int\cos x\diff x = \sin x +C$ |
+| 7 | $\displaystyle\int\dfrac{\diff x}{\cos^2x} = \int\sec^2x\diff x = \tan x +C, \int\dfrac{\diff x}{\sin^2x}=\int\csc^2x\diff x = -\cot x +C$ |
+| 8 |  $\displaystyle\int a^x\diff x = \dfrac{a^x}{\ln a} + C$，特别地 $\displaystyle\int e^x\diff x = e^x +C$
+| 9 | $\displaystyle\int \sinh x\diff x = \cosh x + C，\int \cosh x \diff x=\sinh x +C$ |
+
+# 7. 三角函数相关公式
+
+| 序 | 公式 |
+| :--: | :-------------------------: |
+| 1 | $\sin^2x+\cos^2x=1, \tan^2x+1=\sec^2x,\cot^2x+1=\csc^2x$ |
+| 2 | $\begin{aligned}&\cosh^2x-\sinh^2x=1,\\ &\sinh(x\pm y)=\sinh x\cdot\cosh y \pm \sinh y\cdot\cosh x, \cosh(x\pm y) = \cosh x\cdot\cosh y,\\ &\sinh2x = 2\sinh x\cdot \cosh x, \cosh 2x = \cosh^2x+\sinh^2x = 2\cosh^2x - 1\end{aligned}$ |
+| 3<br>积化和差公式 | $\sin\alpha\cos\beta=\dfrac12[\sin(\alpha+\beta)+\sin(\alpha-\beta)],\cos\alpha\sin\beta = \dfrac12[\sin(\alpha+\beta) - \sin(\alpha-\beta)]$ <br> $\cos\alpha\cos\beta = \dfrac12[cos(\alpha+\beta) + cos(\alpha - \beta)], \sin\alpha\sin\beta=-\dfrac12[\cos(\alpha+\beta) - \cos(\alpha-\beta)]$ |
+| 4<br>和差化积公式 | $\displaystyle\sin\alpha + \sin\beta = 2\sin\left(\dfrac{\alpha+\beta}{2}\right) \cos\left(\dfrac{\alpha-\beta}{2}\right), \sin\alpha - \sin\beta = 2\sin\left(\dfrac{\alpha-\beta}{2}\right) \cos\left(\dfrac{\alpha+\beta}{2}\right)$ <br> $\displaystyle\cos\alpha + \cos\beta = 2\cos\left(\dfrac{\alpha+\beta}{2}\right) \cos\left(\dfrac{\alpha-\beta}{2}\right), \cos\alpha - \cos\beta = -2\sin\left(\dfrac{\alpha+\beta}{2}\right) \sin\left(\dfrac{\alpha-\beta}{2}\right)$ |
+| 5<br>三角代换 | $\displaystyle\sqrt{a^2-x^2}\xrightarrow{x=a\sin t}a\cos t, \sqrt{a^2+x^2} \xrightarrow{x=a\tan t}a\sec t, \sqrt{x^2-a^2}\xrightarrow{x=a\sec t}a\tan t \left( a>0,t\in\left( -\dfrac{\pi}{2} , \dfrac{\pi}{2} \right) \right)$ |
+| 6 | $\displaystyle\int\sqrt{a^2-x^2}\diff x = \dfrac{a^2}{2}\arcsin\dfrac xa + \dfrac12x\sqrt{a^2-x^2} + C(a>0)$ |
+| 7 | $\displaystyle\int\sqrt{x^2+a^2}\diff x = \dfrac x2\sqrt{x^2+a^2} + \dfrac{a^2}2\ln \left\| x+\sqrt{x^2+a^2} \right\|+C(a>0)$ |
+| 8 | $\displaystyle\int\dfrac{1}{\sqrt{x^2+a^2}}\diff x = \ln\left\| x+ \sqrt{x^2+a^2} \right\| +C$, $\displaystyle\int\dfrac{1}{\sqrt{x^2-a^2}}\diff x = \ln\left\| x + \sqrt{x^2-a^2}\right\|(a>0)$<br>特别地，$\displaystyle\int\dfrac{1}{\sqrt{x^2+1}}\diff x=\ln\left(x+\sqrt{x^2+1}\right) = \mathrm{arsinh}\, x$, $\displaystyle\int\dfrac{1}{\sqrt{x^2-1}}\diff x = \ln\left( x+\sqrt{x^2-1}\right) = \mathrm{arcosh}\, x$ |
+| 9 | $\displaystyle\int\sec x\diff x = \int\dfrac{1}{\cos x}\diff x = \int\dfrac{\sec^2x+\sec x \tan x}{\sec x + \tan x}\diff x = \int\dfrac{1}{\sec x + \tan x}\diff (\sec x + \tan x) = \ln \left\| \sec x + \tan x \right\| + C$ |
+| 10 | $\displaystyle\int\csc x\diff x = \int\dfrac{1}{\sin x}\diff x = \ln\left\| \tan\dfrac x2 \right\| + C = \dfrac 12 \ln \left\| \dfrac{1-\cos x}{1 + \cos x}\right\| + C$ |
+| 11 | $\displaystyle\int\tan x\diff x = \int\dfrac{\sin x}{\cos x}\diff x = -\int\dfrac{1}{\cos x}\diff (\cos x) = -\ln \left\| \cos x\right\| +C$ |
+| 12 | $\displaystyle\int\dfrac{1}{\tan x}\diff x = \int\dfrac{\cos x}{\sin x}\diff x = \int\dfrac{1}{\sin x}\diff (\sin x) = \ln\left\| \sin x \right\| + C$ |
+| 13 | $\displaystyle\int\arctan x\diff x = x\arctan x - \ln \left\| 1+x^2 \right\| +C$ |
+| 14<br>Wallis 公式 | $\displaystyle\int^{\pi/2}_{0}\sin^nx\diff x = \int^{\pi/2}_{0}\cos^nx\diff x = \begin{cases} \displaystyle\dfrac{n-1}{n}\cdot\dfrac{n-3}{n-2}\cdot\cdots\cdot\dfrac12\cdot\dfrac\pi2,&n为偶数 \\ \displaystyle\dfrac{n-1}{n}\cdot\dfrac{n-3}{n-2}\cdot\cdots\cdot\dfrac23\cdot1,&n为奇数 \end{cases} \\ = \begin{cases} \displaystyle\dfrac{(n-1)!!}{n!!}\cdot\dfrac\pi2,&n为偶数 \\ \displaystyle\dfrac{(n-1)!!}{n!!},&n为奇数 \end{cases}$ |
+| 15 | $\displaystyle\int_0^\pi\sin^nx\diff x = 2\int^{\pi/2}_0\sin^nx\diff x,\int_0^\pi\cos^nx\diff x = \begin{cases} 2\displaystyle\int^{\pi/2}_0\cos^nx\diff x,&n为偶数 \\ 0,&n为奇数 \end{cases}$ <br> $\displaystyle\int_0^{2\pi}\sin^nx = \int_0^{2\pi}\cos^nx\diff x = \begin{cases} 4\displaystyle\int^{\pi/2}_0\sin^nx\diff x,&n为偶数 \\ 0,&n为奇数 \end{cases}$ <br> $\displaystyle\int_0^{\pi/2}f(\sin x)\diff x = \int_0^{\pi/2}f(\cos x)\diff x$, $\displaystyle\int_0^\pi f(\sin x)\diff x \ne \int_0^\pi f(\cos x)\diff x$ <br> $\displaystyle\int_0^\pi\pi f(\sin x)\diff x = \dfrac\pi2\int_0^\pi f(\sin x)\diff x = \pi\int_0^{\pi/2} f(\sin x)\diff x$ |
+| 16<br>万能公式 | 令\ $u=\displaystyle\tan\dfrac x2,x=2\arctan u$，则\ $\displaystyle\sin x = \dfrac{2u}{1+u^2},\cos x=\dfrac{1-u^2}{1+u^2}, \diff x = \dfrac{2}{1+u^2}\diff u$ |
+| 17 | $\displaystyle\int \dfrac{a\cos x+ b\sin x}{c\cos x + d \sin x} = A\int\diff x+B\int\dfrac{\diff (c\cos x+d \sin x)}{c \cos x + d \sin x}$ <br> (设 $a\cos x + b\sin x = A(c \cos x + d \sin x) + B(c \cos x + d \sin x)'$，由待定系数法求出 $A, B$) |
+
+# 8. 定积分的几何应用
+
+## 8.1 平面
+
+### 8.1.1 直角坐标
+
+1. 直角梯形的面积
+
+$$\begin{equation*}
+A = \int_a^b [f(x_1) - f(x_2)] \diff x
+\end{equation*}$$
+
+2. 曲边梯形的面积：对于参数方程 $\begin{cases}
+     x = \varphi(x) \\ y = {\psi(x)}
+   \end{cases}$，曲边梯形的面积（变换上下限）
+
+   $$\begin{equation*}
+   A = \int_a^b y\diff x = \int_{t_1}^{t_2} \psi(t) \diff \varphi(t) = \int_{t_1}^{t_2} \psi(t)\varphi'(t) \diff t
+   \end{equation*}$$
+
+3. 椭圆的面积：椭圆 $\begin{cases}
+     x = a \cos t \\ y = b \sin t
+   \end{cases}$，即 $\dfrac{x^2}{a^2} + \dfrac{y^2}{b^2} = 1$ 的面积
+
+   $$\begin{equation*}
+     A = 4 \int_0^a y \diff x = 4ab \int_0^{\pi/2} (1-\cos t)^2 \diff t = 3\pi a^2
+   \end{equation*}$$
+
+4. 摆线的面积：摆线 $\begin{cases}
+     x = a (t - \sin t) \\ y = a (1 - \cos t)
+   \end{cases}$ 的一拱与 $x$ 轴所围图形的面积
+
+   $$\begin{equation*}
+     A = \int_0^2\pi a y \diff x = a^2 \int_0^{2\pi} (1 - \cos t)^2 \diff t = 3\pi a^2
+   \end{equation*}$$
+
+### 8.1.2 极坐标
+
+1. 扇形的面积：由 $\rho  = \rho(\theta)$ 及射线 $\theta = \alpha$ 和 $\theta = \beta$ 所围曲边扇形的面积
+
+   $$\begin{equation*}
+      A = \int_\alpha^\beta \frac{1}{2} \rho^2(\theta) \diff \theta = \frac{1}{2} \int_\alpha^\beta \rho^2 \diff \theta
+   \end{equation*}$$
+
+2. 阿基米德螺线：阿基米德螺线 $\rho = a \theta (a > 0)$ 对应 $\theta$ 从 $0$ 变换到 $2\pi$ 所围图形的面积
+
+   $$\begin{equation*}
+      A = \int_0^{2\pi} \frac{1}{2} (a\theta)^2\diff \theta = \frac{4}{3} \pi^3 a^2
+   \end{equation*}$$
+
+3. 双纽线：双纽线 $\rho^2 = a^2 \cos 2\theta$ 所围平面图形的面积
+
+   $$\begin{equation*}
+      A = 4 \int_0^{\pi/4} a^2 \cos 2\theta \diff \theta = a^2
+   \end{equation*}$$
+
+4. 心形线：心形线 $\rho = a(a+\cos\theta), a>0$ 所围平面图形的面积
+
+   $$\begin{equation*}
+      A = 2 \cdot \frac{1}{2} \int_0^\pi a^2 (1+ \cos \theta)^2 \diff \theta = \frac{3}{2}\pi a^2
+   \end{equation*}$$
+
+5. 曲线的弧长
+
+   | 弧微分 | 直角坐标 | 参数方程 | 极坐标 |
+   | :--: | :--: | :--: | :--: |
+   | $\diff s = \sqrt{(\diff x)^2 + (\diff y)^2}$ | $s = \displaystyle\int_a^b \sqrt{1 + y'^2}\diff x$ | $s = \displaystyle\int_a^b \sqrt{\varphi'^2(t) + \psi'^2(t)}\diff t$ | $s = \displaystyle\int_\alpha^\beta \sqrt{\rho^2{\theta} + \rho'^2(\theta)} \diff\theta$
+
+## 8.2 空间
+
+1. 已知平行截面面积求立体体积：令 $A(x)$ 为截面面积，则立体体积
+
+   $$\begin{equation*}
+      V = \int_a^b A(x) \diff x
+   \end{equation*}$$
+
+2. 旋转体体积
+
+   | 薄片法 | 柱壳法 |
+   | :--: | :--: |
+   | $V = \displaystyle\int_a^b \pi f^2(x) \diff x$ | $V = \displaystyle\int_a^b 2\pi x \left| f(x) \right|\diff x$ |

source/_posts/2024-06-14-josh-cvx-2-1.md

@@ -32,13 +32,13 @@ $
 \def\epi{\mathop{\bf epi}}
 \def\hypo{\mathop{\bf hypo}}
 \def\prob{\mathop{\bf prob}}
-$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，如果 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
+$  函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是**凸**（*Convex*）的，若 $\dom f$ 是凸集，且对于任意 $x,y\in\dom f$ 和任意 $0\leqslant\theta\leqslant1$，有
 
 $$\begin{equation}\label{DefinitionOfConvexFunction}
   f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
 \end{equation}$$
 
-&emsp;&emsp;从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方(如[图 1](#图1)所示)。称函数 $f$ 是**严格凸**（*strictly convex*）的，如果式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，如果函数 $-f$ 是凸的，称函数 $f$ 是**严格凹**（*strictly concave*）的，如果 $-f$ 严格凸。
+&emsp;&emsp;从几何意义上看，上述不等式意味着点 $(x,f(x))$ 和 $(y,f(y))$ 之间的线段，即从 $x$ 到 $y$ 的**弦**（*chord*），在函数 $f$ 的图像上方（如[图 1](#图1)所示）。称函数 $f$ 是**严格凸**（*strictly convex*）的，若式 $\eqref{DefinitionOfConvexFunction}$ 中的不等式当 $x\neq y$ 以及 $0<\theta<1$ 时严格成立。称函数 $f$ 是**凹**（*concave*）的，若函数 $-f$ 是凸的；称函数 $f$ 是**严格凹**（*strictly concave*）的，若 $-f$ 严格凸。
 
 <a id="图1"></a>
 
@@ -46,15 +46,44 @@ $$\begin{equation}\label{DefinitionOfConvexFunction}
 
 <!-- more -->
 
-&emsp;&emsp;对于仿射函数，不等式 $\eqref{DefinitionOfConvexFunction}$ 总成立，因此所有的仿射函数（包括线性函数）是既凸且凹的。反之，若某个函数是既凸又凹的，则其是仿射函数。
+&emsp;&emsp;对于仿射函数，式 $\eqref{DefinitionOfConvexFunction}$ 始终可以取等号，因此所有的[仿射函数][]（包括线性函数）是既凸且凹的。反之，若某个函数是既凸又凹的，则其是仿射函数。
 
-&emsp;&emsp;函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它容许我们通过将函数限制在直线上来判断其是否是凸函数。
+&emsp;&emsp;函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数 $f$ 是凸的，当且仅当对于任意 $x\in\dom f$ 和任意向量 $v$，函数 $g(t)=f(x+tv)$ 是凸的（其定义域为 $\{t\mid x+tv\in\dom f\}$）。这个性质非常有用，因为它让我们可以通过将函数限制在直线上来判断其是否是凸函数。
+
+{% note info 注解 %}
+
+这里可能是由于翻译问题导致不是很好理解，我们先看原文：
+
+> A function is convex if and only if it is convex when restricted to any line that
+intersects its domain. In other words $f$ is convex if and only if for all $x\in\mathbf{dom}\, f$ and all $v$, the function $g(t) = f(x + tv)$ is convex (on its domain, $\{t\mid x+tv\in\mathbf{dom}\, f\}$). This property is very useful, since it allows us to check whether a function is convex by restricting it to a line.
+
+仍然不是很好理解。因此询问 ChatGPT 得到如下解释：
+
+- 限制在直线上：考虑一个函数 $f$ 和其定义域内的任意一点 $x$。再选择一个任意方向向量 $v$。我们沿着这个方向 $v$ 从点 $x$ 出发，得到一条直线。任何点 $x+tv$（其中 $t$ 是一个实数）都在这条直线上。这就叫做将函数限制在直线上。
+
+- 直线上的函数：我们定义一个新的函数 $g(t)=f(x+tv)$。这个新的函数 $g(t)$ 表示原函数 $f$ 在直线 $x+tv$ 上的值。
+
+- 检查凸性：若对于任意 $x$ 和 $v$，新的函数 $g(t)$ 是凸的，则我们就说原函数 $f$ 是凸的。也就是说，若 $f$ 在所有限制的直线上都是凸的，则 $f$ 本身就是凸的。
+
+通过限制在直线上，我们将原来的多变量问题简化为单变量问题。对于单变量函数，判断凸性要比多变量情况简单得多。这使得我们可以用更简单的方法来判断一个函数是否是凸的。
+
+> **举例**&emsp;假设我们有一个二次函数 $f(x)=x_1^2+x_2^2$。我们选一个点 $x=(a,b)$ 和一个方向 $v=(c,d)$，沿着这个方向得到直线 $(a,b)+t(c,d)$，然后我们可以定义一个新函数：
+>
+> $$
+> g(t)=f((a,b)+t(c,d))=f(a+tc,b+td)=(a+tc)^2+(b+td)^2
+> $$
+>
+> 我们需要检查这个新函数 $g(t)$ 是否是凸的。若对所有 $x$ 和 $v$ 新函数 $g(t)$ 都是凸的，则原函数 $f$ 就是凸的。在这个例子中，显然 $g(t)=(a+tc)^2+(b+td)^2$ 是一个关于 $t$ 的二次函数，它是凸的。因此，原函数 $f(x)=x_1^2+x_2^2$ 是凸的。
+
+总的来说，"将函数限制在直线上"意味着通过沿着任意方向取直线来简化判断多变量函数的凸性，从而可以更方便地确定函数的整体凸性。
+
+{% endnote %}
 
 &emsp;&emsp;对凸函数的**分析**（*analysis*）已经相当地透彻，这里不再继续深入。例如有这样一个简单的结论，凸函数在其定义域相对内部是连续的；它只可能在相对边界上不连续。
 
 # 2. 扩展值延伸
 
-&emsp;&emsp;通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。如果 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$如下
+&emsp;&emsp;通常可以定义凸函数在定义域外的值为 $\infty$，从而将这个凸函数延伸至全空间 $\mathbf{R}^n$。若 $f$ 是凸函数，我们定义它的**扩展值延伸**（*extended-value extension*）$\tilde{f}:\mathbf{R}^n\to\mathbf{R}\cup\{\infty\}$ 如下
 $$
 \tilde{f}(x)=\begin{cases}
   f(x)&x\in\textbf{dom}f\\\infty&x\not\in\textbf{dom}f
@@ -69,12 +98,12 @@ $$
 \tilde{f}(\theta x+(1-\theta)y)\leqslant\theta\tilde{f}(x)+(1-\theta)\tilde{f}(y)
 $$
 
-（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时我们应当利用扩展运算和序来理解这个不等式。
+（当 $\theta=0$ 或 $\theta=1$ 时不等式总成立。）当然此时应当利用扩展运算和扩展序来理解这个不等式。
 
-- 若 $x$ 和 $y$ 都在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
+- 若 $x$ 和 $y$ 在 $\dom f$ 内，上述不等式即为不等式 $\eqref{DefinitionOfConvexFunction}$；
-- 如果有任何一个在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
+- 若 $x$ 或 $y$ 在 $\dom f$ 外，上述不等式的右端为 $\infty$，不等式仍然成立。
 
-&emsp;&emsp;再看一个这种表示的例子，设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
+> **举例**&emsp;设 $f_1$ 和 $f_2$ 是 $\mathbf{R}^n$ 上的两个凸函数。逐点和函数 $f=f_1+f_2$ 的定义域为 $\dom f=\dom f_1\cap\dom f_2$，对于任意 $x\in\dom f$，有 $f(x)=f_1(x)+f_2(x)$。利用扩展值延伸我们可以简单地描述为，对于任意 $x$，$\tilde{f}(x)=\tilde{f}_1(x)+\tilde{f}_2(x)$。在这个方程里，函数 $f$ 的定义域被自动定义为 $\dom f=\dom f_1\cap\dom f_2$，因为当 $x\not\in\dom f_1$ 或者 $x\not\in\dom f_2$ 时，$\tilde{f}(x)=\infty$。在此例中，我们就可以利用扩展运算来自动定义定义域。
 
 &emsp;&emsp;在不会造成歧义的情况下，可以用同样的符号来表示一个凸函数及其延伸函数。即假设所有的凸函数都隐含地被延伸了，也就是在定义域外都被定义为 $\infty$。
 
@@ -86,7 +115,7 @@ $$
 >
 > 凸函数 $\tilde{I}_C$ 被称作集合 $C$ 的**示性函数**（*indicator function*）。
 >
-> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$（假设其定义在整个 $\mathbf{R}^n$ 空间）的问题，我们可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，函数 $f+\tilde{I}_C$（按照我们的约定）等价于定义在集合 $C$ 上的函数 $f$。
+> 利用示性函数 $\tilde{I}_C$，可以更加灵活地定义符号描述。例如，对于在集合 $C$ 上极小化函数 $f$ 的问题（假设 $f$ 定义在整个 $\mathbf{R}^n$ 空间），可以给出等价的问题，即在 $\mathbf{R}^n$ 上极小化函数 $f+\tilde{I}_C$。事实上，按照不会造成歧义的约定，函数 $f+\tilde{I}_C$ 等价于定义在集合 $C$ 上的函数 $f$。
 
 &emsp;&emsp;类似地，可以通过定义凹函数在定义域外都为 $-\infty$ 对其进行延伸。
 
@@ -98,17 +127,17 @@ $$\begin{equation}\label{FirstOrderCondition}
   f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
 \end{equation}$$
 
-[图 2](#图2) 描述了上述不等式。
+[图 2](#图2) 描述了上述不等式，也即沿函数上任意一点作切线，函数始终位于切线上方。
 
 <a id="图2"></a>
 
-![图 2. 如果函数 $f$ 是凸的且可微，那么对于任意 $x,y\in\dom f$，有 $f(x)+\nabla f(x)^\TT(y-x)\leqslant f( y)$。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png){width=500px}
+![图 2. 若函数 $f$ 是凸的且可微，则对于任意 $x,y\in\dom f$，有 $f(x)+\nabla f(x)^\TT(y-x)\leqslant f( y)$。](../images/post/2024-06-14-josh-cvx-2-1/2024-06-14-josh-cvx-2-1-020-FirstOrderCondition.png){width=500px}
 
-&emsp;&emsp;由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，如果某个函数的一阶 Taylor 近似总是其全局下估计，那么这个函数是凸的。
+&emsp;&emsp;由 $f(x)+\nabla f(x)^\TT (y-x)$ 得出的仿射函数 $y$ 即为函数 $f$ 在点 $x$ 附近的 Taylor 近似。不等式 $\eqref{FirstOrderCondition}$ 表明，对于一个凸函数，其一阶 Taylor 近似实质上是原函数的一个**全局下估计**（*global underestimator*）。反之，若某个函数的一阶 Taylor 近似总是其全局下估计，则这个函数是凸的。
 
 &emsp;&emsp;不等式 $\eqref{FirstOrderCondition}$ 说明从一个凸函数的**局部信息**（*local information*）（即它在某点的函数值及导数），可以得到一些**全局信息**（*global information*）（如它的全局下估计）。这也许是凸函数的最重要的信息，由此可以解释凸函数以及凸优化问题的一些非常重要的性质。
 
-> **举例**&emsp;由不等式 $\eqref{FirstOrderCondition}$ 可以知道，如果 $\nabla f(x)=0$，那么对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
+> **举例**&emsp;由不等式 $\eqref{FirstOrderCondition}$ 可以知道，若 $\nabla f(x)=0$，则对于所有的 $y\in\dom f$，存在 $f(y)\geqslant f(x)$，即 $x$ 是函数 $f$ 的全局极小点。
 
 &emsp;&emsp;严格凸性同样可以由一阶条件刻画：函数 $f$ 严格凸的充要条件是 $\dom f$ 是凸集且对于任意 $x,y\in\dom f$，$x\neq y$，有
 
@@ -130,7 +159,7 @@ $$\begin{equation}\label{FirstOrderConditionWhenNEquals1}
   f(y)\geqslant f(x)+f'(x)(y-x)
 \end{equation}$$
 
-&emsp;&emsp;首先假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
+&emsp;&emsp;首先证明必要性。假设 $f$ 是凸函数，且 $x,y\in\dom f$。因为 $\dom f$ 是凸集（某个区间），对于任意 $0<t\leqslant1$，我们有 $x+t(y-x)\in\dom f$，由函数 $f$ 的凸性可得
 
 $$
 f(x+t(y-x))\leqslant(1-t)f(x)+tf(y)
@@ -176,7 +205,7 @@ $$
 
 # 4 二阶条件
 
-&emsp;&emsp;现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 Hessian 矩阵或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
+&emsp;&emsp;现在假设函数 $f$ 二阶可微，即对于开集 $\dom f$ 内的任意一点，它的 **Hessian 矩阵**或者二阶导数 $\nabla^2f$ 存在，则函数 $f$ 是凸函数的充要条件是，其 Hessian 矩阵是半正定阵：即对于所有的 $x\in\dom f$，有
 
 $$
 \nabla^2f(x)\succeq0
@@ -184,7 +213,7 @@ $$
 
 对于 $\mathbf{R}$ 上的函数，上式可以简化为一个简单的条件 $f''(x)\geqslant0$（$\dom f$ 是凸的，即一个区间），此条件说明函数 $f$ 的导数是非减的。条件 $\nabla^2f(x)\succeq0$ 从几何上可以理解为函数图像在点 $x$ 处具有正（向上）的曲率。
 
-&emsp;&emsp;类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。如果对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
+&emsp;&emsp;类似地，函数 $f$ 是凹函数的充要条件是，$\dom f$ 是凸集且对于任意 $x\in$ $\dom f$，$\nabla ^{2}f( x)$ $\preceq$ 0。严格凸的条件可以部分由二阶条件刻画。若对于任意的 $x\in\dom f$ 有 $\nabla^2f(x)\succ0$，则函数 $f$ 严格凸。反过来则不一定成立：例如，函数 $f:\mathbf{R}\to\mathbf{R}$，其表达式为 $f(x)=x^4$，它是严格凸的，但是在 $x=0$ 处，二阶导数为零。
 
 > **举例**&emsp;**二次函数**。考虑二次函数 $f:\mathbf{R}^n\to\mathbf{R}$，其定义域为 $\dom f=\mathbf{R}^n$，其表达式为
 >
@@ -200,7 +229,11 @@ $$
 
 # 5. 例子
 
-&emsp;&emsp;前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
+&emsp;&emsp;前文已经提到所有的线性函数和仿射函数均为凸函数（同时也是凹函数），并描述了凸和凹的二次函数。本节绘出更多的凸函数和凹函数的例子。
+
+## $\mathbf{R}$ 上的例子
+
+&emsp;&emsp;首先考虑 $\mathbf{R}$ 上的一些函数，其自变量为 $x$。
 
 - **指数函数**（*Exponential*）。对任意 $a\in\mathbf{R}$，函数 $e^{ax}$ 在 $\mathbf{R}$ 上是凸的。
 - **幂函数**（*Power*）。当 $a\geqslant1$ 或 $a\leqslant0$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凸函数；当 $0\leqslant a\leqslant1$ 时，$x^a$ 在 $\mathbf{R}_{++}$ 上是凹函数。
@@ -216,7 +249,9 @@ $$
 
 即对于 $x>0$，有 $f''(x)>0$。所以负熵函数是（严格）凸的。
 
-下面给出 $\mathbf{R}^n$ 上的一些例子。
+## $\mathbf{R}^n$ 上的例子
+
+&emsp;&emsp;下面给出 $\mathbf{R}^n$ 上的一些例子。
 
 **范数**（*Norm*）。 $\mathbf{R}^n$ 上的任意范数均为凸函数。
 
@@ -248,7 +283,7 @@ $$
 
 &emsp;&emsp;判断上述函数的凸性（或者凹性）可以有多种途径，可以直接验证不等式 $\eqref{DefinitionOfConvexFunction}$ 是否成立，亦可以验证其 Hessian 矩阵是否半正定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。
 
-**范数**。如果函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
+**范数**。若函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是范数，任取 $0\leqslant\theta\leqslant1$，有
 
 $$
 f(\theta x+(1-\theta)y)\leqslant f(\theta x)+f((1-\theta)y)=\theta f(x)+(1-\theta)f(y)
@@ -337,11 +372,11 @@ $$
 C_{\alpha}=\{x\in\dom f\mid f(x)\leqslant\alpha\}
 $$
 
-对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：如果 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
+对于任意 $\alpha$ 值，凸函数的下水平集仍然是凸集。证明可以由凸集的定义直接得到：若 $x,y\in C_{\alpha }$，则有 $f( x) \leqslant \alpha$，$f( y) \leqslant \alpha$，因此对于任意$0\leqslant\theta\leqslant1$，$f(\theta x+(1-\theta)y)\leqslant\alpha$，即 $\theta x+(1-\theta)y\in C_{\alpha}$。
 
 &emsp;&emsp;反过来不一定正确：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。例如，函数 $f(x)=-e^x$ 在 $\mathbf{R}$ 上不是凸函数（实质上，它是严格凹函数），但是其所有下水平集均为凸集。
 
-&emsp;&emsp;如果 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
+&emsp;&emsp;若 $f$ 是凹函数，则由 $\{x\in\dom f\mid f(x)\geqslant\alpha\}$ 定义的 **$\alpha$-上水平集**（*$\alpha$-superlevel set*）也是凸集。下水平集的性质可以用来判断集合的凸性，若某个集合可以描述为一个凸函数的下水平集，或者一个凹函数的上水平集，则其是凸集。
 
 > **举例**&emsp;对于 $x\in\mathbf{R}_+^n$，其几何平均和算术平均分别为
 >
@@ -357,8 +392,7 @@ $$
 > \{x\in\mathbf{R}_{+}^{n}\mid G(x)\geqslant\alpha A(x)\}
 > $$
 >
-> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数
+> 即使得几何平均至少大于等于算术平均的 $\alpha$ 倍的集合。此集合是凸集，因为它是凹函数 $G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
-$G(x)=\alpha A(x)$ 的 $0$-上水平集。事实上，这个每合是正齐次的，因此它是凸锥
 
 # 7. 上境图
 
@@ -368,13 +402,13 @@ $$
 \{(x,f(x))\mid x\in\dom f\}
 $$
 
-它是 $\mathbf{R}^{n+1}$ 空间的一个子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
+它是 $\mathbf{R}^{n+1}$ 空间的子集。函数 $f:\mathbf{R}^n\to\mathbf{R}$ 的**上境图**（*epigraph*）定义为
 
 $$
 \epi f=\{(x,t)\mid x\in\dom f,f(x)\leqslant t\}
 $$
 
-它也是 $\mathbf{R}^{n+1}$ 空间的一个子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
+它也是 $\mathbf{R}^{n+1}$ 空间的子集。（“Epi”是之上的意思，所以上境图的英文 epigraph 是“在函数图像之上”的意思。）[图 5](#图5)说明了上境图的定义。
 
 <a id="图5"></a>
 
@@ -417,13 +451,13 @@ $$
 >
 > （函数图像如[图 3](#图3) 所示）。
 
-&emsp;&emsp;关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），作为一个例子，考虑凸函数的一阶条件
+&emsp;&emsp;关于凸函数的很多结果可以从几何的角度利用上境图并结合凸集的一些结论来证明（或理解），例如，考虑凸函数的一阶条件
 
 $$
 f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
 $$
 
-其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。如果 $(y,t)\in\mathbf{epi}f$，有
+其中函数 $f$ 是凸的，$x,y\in\dom f$。我们可以利用 $\epi f$ 从几何角度理解上述基本不等式。若 $(y,t)\in\epi f$，有
 
 $$
 t\geqslant f(y)\geqslant f(x)+\nabla f(x)^\TT (y-x)
@@ -435,7 +469,7 @@ $$
 (y,t)\in\epi f\implies\left[\begin{array}{c}\nabla f(x)\\-1\end{array}\right]^\TT \left(\left[\begin{array}{c}y\\t\end{array}\right]-\left[\begin{array}{c}x\\f(x)\end{array}\right]\right)\leqslant0
 $$
 
-这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$；如[图 6](#图6) 所示。
+这意味着法向量为 $(\nabla f(x),-1)$ 的超平面在边界点 $(x,f(x))$ 支撑着 $\epi f$，如[图 6](#图6) 所示。
 
 <a id="图6"></a>
 
@@ -449,25 +483,25 @@ $$
 f(\theta x+(1-\theta)y)\leqslant\theta f(x)+(1-\theta)f(y)
 $$
 
-有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：如果函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
+有时也称作 **Jensen 不等式**（*Jensen’s inequality*）。此不等式可以很方便地扩展至更多点的凸组合：若函数 $f$ 是凸函数，$x_1,\cdots,x_k\in\dom f$，$\theta_1,\cdots,\theta_k\geqslant0$ 且 $\theta_1+\cdots+\theta_k=1$，则下式成立
 
 $$
 f(\theta_1x_1+\cdots+\theta_kx_k)\leqslant\theta_1f(x_1)+\cdots+\theta_kf(x_k)
 $$
 
-考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，如果在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
+考虑凸集时，此不等式可以扩展至无穷项和、积分以及期望。例如，若在 $S\subseteq\dom f$ 上 $p(x)\geqslant0$ 且 $\displaystyle\int_Sp(x) \dd x = 1$，则当相应的积分存在时，下式成立
 
 $$
 f\left(\int_Sp(x)x\dd x\right)\leqslant\int_Sf(x)p(x)\dd x
 $$
 
-扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。如果 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
+扩展到更一般的情况，我们可以采用其支撑属于 $\dom f$ 的任意概率测度。若 $x$ 是随机变量，事件 $x\in\dom f$ 发生的概率为 1，函数 $f$ 是凸函数，当相应的期望存在时，我们有
 
 $$\begin{equation}\label{GeneralJensenInequality}
-  f(\mathbf{E}x)\leqslant\mathbf{E}f(x)
+  f(\mathbb{E}x)\leqslant\mathbb{E}f(x)
 \end{equation}$$
 
-设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $eqref{GeneralJensenInequality}$ 可以刻画凸性：如果函数 $f$ 不是凸函数，那么存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbf{E}x)>\mathbf{E}f(x)$。
+设随机变量 $x$ 的可能取值为 $\{ x_1, x_2\}$ 相应地取值概率为 $\prob ( x= x_1) = \theta$，$\prob( x=x_2)=1-\theta$，则由一般形式 $\eqref{GeneralJensenInequality}$ 可以得到基本不等式 $\eqref{DefinitionOfConvexFunction}$。所以不等式 $\eqref{GeneralJensenInequality}$ 可以刻画凸性：若函数 $f$ 不是凸函数，则存在随机变量 $x$，$x\in\dom f$ 以概率 $1$ 发生，使得 $f(\mathbb{E}x)>\mathbb{E}f(x)$。
 
 &emsp;&emsp;上述所有不等式均被称为 **Jensen 不等式**（*Jensen’s inequality*），而实际上最初由 Jensen 提出的不等式相当简单
 
@@ -478,7 +512,7 @@ $$
 > **注释**&emsp;我们可以这样理解式 $\eqref{GeneralJensenInequality}$。假设 $x\in\dom f\subseteq\mathbf{R}^n$，$z$ 是 $\mathbf{R}^n$ 中的随机变量，其均值为零，则有
 >
 > $$
-> \mathbf{E}f(x+z)\geqslant f(x)
+> \mathbb{E}f(x+z)\geqslant f(x)
 > $$
 >
 > 因此，随机化或者扰动（即在自变量上增加一个零均值的随机变量）从平均效果上不会减小凸函数的值。
@@ -531,3 +565,5 @@ $$
 
 1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.
 2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013.
+
+[仿射函数]: https://josh-gao.top/posts/a4a69a4f.html?#%E4%BB%BF%E5%B0%84%E5%87%BD%E6%95%B0

source/_posts/2024-07-03-josh-cvx-2-2.md

@@ -0,0 +1,653 @@
+---
+title: Josh's Note — 凸优化<br>Part 2.2 凸函数—保凸运算
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: false
+  wrap: true
+  expand_all: true
+  max_depth: 4
+categories:
+  - - Josh 的学习笔记
+    - 凸优化
+    - 凸函数
+  - - 数学
+    - 凸优化
+tags:
+  - 凸优化
+  - 凸函数
+  - 保凸运算
+abbrlink: c3476904
+date: 2024-07-03 23:04:33
+---
+
+$
+\newcommand{\dd}{\mathrm{d}}
+\newcommand{\TT}{\mathrm{T}}
+\def\diag{\mathop{\bf diag}}
+\def\dist{\mathop{\bf dist}}
+\def\dom{\mathop{\bf dom}}
+\def\epi{\mathop{\bf epi}}
+$&emsp;&emsp;本文讨论几种保持函数凸性或者凹性的运算，这样可以构造新的凸函数或者凹函数。首先从一些简单的运算开始，如求和、伸缩以及逐点上确界，之后再介绍一些更为复杂的运算（其中一些运算的特例即为简单运算）。
+
+# 1. 非负加权求和
+
+&emsp;&emsp;显然，若函数 $f$ 是凸函数且 $\alpha\geqslant0$，则函数 $\alpha f$ 也是凸函数。若函数 $f_1$ 和 $f_2$ 都是凸函数，则它们的和 $f_1+f_2$ 也是凸函数。将非负伸缩以及求和运算结合起来，可以看出，凸函数的集合本身是一个凸锥：凸函数的非负加权求和仍然是凸函数，即函数
+
+$$
+f=w_1f_1+\cdots+w_mf_m
+$$
+
+是凸函数。类似地，凹函数的非负加权求和仍然是凹函数。严格凸（凹）函数的非负，非零加权求和是严格凸（凹）函数。
+
+&emsp;&emsp;这个性质可以扩展至无限项的求和以及积分的情形。例如，若对于每一个 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸函数，且 $w(y)\geqslant 0$，则函数
+
+$$
+g(x)=\int_{\mathcal{A}}w(y)f(x,y)\dd y
+$$
+
+关于 $x$是凸函数（若此积分存在）。
+
+<!-- more -->
+
+&emsp;&emsp;容易验证非负伸缩以及求和运算是保凸运算，或者可以根据相关的上境图得到此结论。例如，若 $w\geqslant 0$ 且 $f$ 是凸函数，则有
+
+$$
+\epi (wf)=\left[\begin{array}{cc}
+I&0\\
+0&w
+\end{array}\right]\epi f
+$$
+
+因为凸集通过线性变换得到的像仍然是凸集，所以 $\epi(wf)$ 是凸集。
+
+{% note info 注解 %}
+
+这里对上镜图的相关结论进行解释。函数 $f:\mathbf{R}^{n}\to\mathbf{R}$ 的上镜图定义为
+
+$$
+\epi f=\{(x,t)\mid f(x)\leqslant t\}
+$$
+
+则有
+
+$$\begin{aligned}
+  \left[\begin{array}{cc}
+    I&0\\
+    0&w
+  \end{array}\right]\epi f&=\left\{\left[\begin{array}{cc}
+    I&0\\
+    0&w
+  \end{array}\right](x,t)\:\middle|\: f(x)\leqslant t\right\}
+  \\
+  &= \{(x,wt)\mid f(x)\leqslant t\}
+  \\
+  &= \{(x,t)\mid wf(x)\leqslant t\}
+  \\
+  &= \epi (wf)
+\end{aligned}
+$$
+
+{% endnote %}
+
+# 2. 复合仿射映射
+
+&emsp;&emsp;假设函数 $f:\mathbf{R}^n\to\mathbf{R}$，$A\in\mathbf{R}^{n\times m}$，$b\in\mathbf{R}^n$，定义**复合仿射映射**（*composition with an affine mapping*）$ g:\mathbf{R}^m\to\mathbf{R}$ 为
+
+$$
+g(x)=f(Ax+b)
+$$
+
+其中 $\dom g=\{x\mid Ax+b\in\dom f\}$。若函数 $f$ 是凸函数，则函数 $g$ 是凸函数；若函数 $f$ 是凹函数，则函数 $g$ 是凹函数。
+
+# 3. 逐点最大和逐点上确界
+
+## 3.1 逐点最大
+
+&emsp;&emsp;若函数 $f_{1}$ 和 $f_{2}$ 均为凸函数，则二者的**逐点最大**（*pointwise maximum*）函数
+
+$$
+f(x)=\max\{f_1(x),f_2(x)\}
+$$
+
+其定义域为 $\dom f=\dom f_1\cap\dom f_2$，仍然是凸函数。这个性质很容易验证：任取 $0\leqslant \theta \leqslant 1$ 以及 $x,y\in\dom f$，有
+
+$$\begin{aligned}
+f(\theta x+(1-\theta)y)&=\max\{f_1(\theta x+(1-\theta)y),f_2(\theta x+(1-\theta)y)\}
+\\
+&\leqslant\max\{\theta f_1(x)+(1-\theta)f_1(y),\theta f_2(x)+(1-\theta)f_2(y)\}
+\\
+&\leqslant\theta\max\{f_1(x),f_2(x)\}+(1-\theta)\max\{f_1(y),f_2(y)\}
+\\
+&=\theta f(x)+(1-\theta)f(y)
+\end{aligned}$$
+
+从而得到了函数 $f$ 的凸性。同样很容易证明，若函数 $f_1,\cdots,f_m$ 为凸函数，则它们的逐点最大函数
+
+$$
+f(x)=\max\{f_1(x),\cdots,f_m(x)\}
+$$
+
+仍然是凸函数。
+
+> **举例**&emsp;**分段线性函数**（*Piecewise-linear functions*）。函数
+>
+> $$
+> f(x)=\max\left\{a_1^\TT x+b_1,\cdots,a_L^\TT x+b_L\right\}
+> $$
+>
+> 定义了一个（具有不大于 $L$ 个子区域的）分段线性函数（实际上是仿射函数）。因为它是一系列仿射函数的逐点最大函数，所以它是凸函数。反之亦成立：任意具有不大于 $L$ 个子区域的分段线性凸函数都可以表述成上述形式。
+>
+> {% note info 注解 %}
+> 参考 Wikipedia，[分段线性函数词条](https://en.wikipedia.org/wiki/Piecewise_linear_function)即为我们通常理解的分段函数，但是这里的分段线性函数有所不同，定义为多个分段函数的逐点最大，因此数凸的。
+>
+> 关于子区域数量，可以这样理解：若 $L$ 个仿射函数相邻两段各不相同，则每一段仿射函数均对应着一个子区域，因此最多共有 $L$ 个子区域。
+> {% endnote %}
+
+> **举例**&emsp;**最大 $r$ 个分量之和**。对于任意 $x\in\mathbf{R}^n$，用 $x_{[i]}$ 表示 $x$ 中第 $i$ 大的分量，将 $x$ 的分量按照非升序进行排列
+>
+> $$
+> x_{[1]}\geqslant x_{[2]}\geqslant\cdots\geqslant x_{[n]}
+> $$
+>
+> 则对 $x$ 的最大 $r$ 个分量进行求和所得到的函数
+>
+> $$
+> f(x)=\sum_{i=1}^rx_{[i]}
+> $$
+>
+> 是凸函数。事实上，此函数可以表述为
+>
+> $$
+> f(x)=\sum_{i=1}^rx_{[i]}=\max\{x_{i_1}+\cdots+x_{i_r}\mid1\leqslant i_1<i_2<\cdots<i_r\leqslant n\}
+> $$
+>
+> 即从 $x$ 的分量中选取 $r$ 个不同分量进行求和的所有可能组合的最大值。因为函数 $f$ 是 $\displaystyle\frac{n!}{r!(n-r)!}$ 个线性函数的逐点最大，所以是凸函数。
+>
+> 进一步可以证明，当 $w_1\geqslant w_2\geqslant\cdots\geqslant w_r\geqslant 0$ 时，函数 $\displaystyle\sum_{i=1}^rw_ix_{[i]}$ 是凸函数。
+
+## 3.2 逐点上确界
+
+&emsp;&emsp;逐点最大的性质可以扩展至无限个凸函数的**逐点上确界**（*pointwise supremum*）。
+
+{% note info 上确界和下确界 %}
+
+&emsp;&emsp;假定 $C\subseteq\mathbf{R}$。若对每个 $x\in C$ 均有 $x\leqslant a$，则称 $a$ 是 $C$ 的**上界**（*upper bound*）。$C$ 的上界组成的集合或是空集（此时称 $C$ 无上界），或等于 $\mathbf{R}$（仅当 $C=\emptyset$ 时），或是闭的无限区间 $[b,\infty)$。称 $b$ 为 $C$ 的**最小上界**（*least upper bound*）或**上确界**（*supremum*），用 $\sup C$ 表示。规定 $\sup\emptyset=-\infty$，当 $C$ 无上界时取 $\sup C=\infty$。当 $\sup C\in C$ 时，称 $C$ 的上确界是可达的。
+
+&emsp;&emsp;当 $C$ 是有限集时，$\sup C$ 是它所有元素的最大值。一些作者用符号 $\max C$ 表示可达的上确界，但我们采用标准的数学习惯，只在 $C$ 是有限集时用 $\max C$。
+
+&emsp;&emsp;类似地，可以定义下界和下确界。若对每个 $x\in C$ 均有 $a\leqslant x$，则称 $a$ 是 $C\subseteq\mathbf{R}$ 的下界。$C\subseteq\mathbf{R}$ 的**下确界**（*infimum*）或**最大下界**（*greatest lower bound*）定义为 $\inf C=-\sup(-C)$。当 $C$ 是有限集时，下确界是它所有元素的最小值。规定 $\inf\emptyset=\infty$，并在 $C$ 无下界时，取 $\inf C=-\infty$。
+
+{% endnote %}
+
+&emsp;&emsp;若对于任意 $y\in\mathcal{A}$，函数 $f(x,y)$ 关于 $x$ 都是凸的，则函数
+
+$$\begin{equation}\label{PointwiseMaximum}
+g(x)=\sup_{y\in\mathcal{A}}f(x,y)
+\end{equation}$$
+
+关于 $x$ 亦是凸的。此时，函数 $g$ 的定义域为
+
+$$
+\dom g=\{x\mid(x,y)\in\dom f\:\forall y\in\mathcal{A},\sup_{y\in\mathcal{A}}f(x,y)<\infty\}
+$$
+
+类似地，一系列凹函数的逐点下确界仍然是凹函数。
+
+&emsp;&emsp;从上境图的角度理解，一系列函数的逐点上确界函数对应着这些函数上境图的交集：对于函数 $f$，$g$ 以及式 $\eqref{PointwiseMaximum}$ 定义的 $\mathcal{A}$，有
+
+$$
+\epi g=\bigcap_{y\in\mathcal{A}}\epi f(\:\cdot\:,y)
+$$
+
+因此，函数 $g$ 的凸性可由一系列凸集的交集仍然是凸集得到。
+
+> **举例**&emsp;**集合的支撑函数**。令集合 $C\subseteq\mathbf{R}^n$，且 $C\neq\emptyset$，定义集合 $C$ 的**支撑函数**（*support function*）$S_C$ 为
+>
+> $$
+> S_C(x)=\sup\{x^\TT y\mid y\in C\}
+> $$
+>
+> （自然地，函数 $S_C$ 的定义域为 $\dom S_{C}=\left\{x\mid\sup_{y\in C}x^\TT y<\infty\right\}$）。
+>
+> 对于任意 $y\in C$，$x^\TT y$ 是 $x$ 的线性函数，所以 $S_{C}$ 是一系列线性函数的逐点上确界函数，因此是凸函数。
+
+> **举例**&emsp;**到集合中最远点的距离**。令集合 $C\subseteq\mathbf{R}^n$，定义点 $x$ 与集合中最远点的距离（范数）为
+>
+> $$
+> f(x)=\sup_{y\in C}\|x-y\|
+> $$
+>
+> 此函数是凸函数。为了说明这一点，我们注意到，对于任意 $y$，函数 $\|x-y\|$ 关于 $x$ 是凸函数。因为函数 $f$ 是一族凸函数（对应不同的 $y\in C$）的逐点上确界，所以是凸函数。
+
+> **举例**&emsp;**以权为变量的最小二乘代价函数**。令 $a_1,\cdots,a_n\in\mathbf{R}^m$，在加权最小二乘问题中我们对所有的 $x\in\mathbf{R}^m$ 极小化目标函数 $\displaystyle\sum_{i=1}^nw_i(a_i^\TT x-b_i)^2$。我们称 $w_i$ 为**权**（*weight*），并允许 $w_i$ 为负（则目标函数有可能无下界）。
+>
+> 定义（最优）**加权最小二乘代价**（*weighted least-squares cost*）函数为
+>
+> $$
+> g(w)=\inf_{x}\sum_{i=1}^{n}w_{i}(a_{i}^{\TT}x-b_{i})^{2}
+> $$
+>
+> 其定义域为
+>
+> $$\dom g=\left\{w\,\middle|\,\inf_{x}\sum_{i=1}^{n}w_{i}(a_{i}^{\TT}x-b_{i})^{2}>-\infty\right\}$$
+>
+> 因为函数 $g$ 是一族关于 $w$ 的线性函数的下确界（对应于不同的 $x\in\mathbf{R}^m$），它是 $w$ 的凹函数。
+>
+> 至少在部分定义域上，我们可以得到函数 $g$ 的一个显式表达式。令 $W=\diag(w)$ 是一对角阵，其对角线元素为 $w_1,\cdots,w_n$，令 $A\in\mathbf{R}^{n\times m}$，其行向量为 $a_i^\TT$，有
+>
+> $$
+> g(w)=\inf_{x}(Ax-b)^{\TT}W(Ax-b)=\inf_{x}(x^{\TT}A^{\TT}WAx-2b^{\TT}WAx+b^{\TT}Wb)
+> $$
+>
+> 从上式可以看出，若 $A^{\TT}WA\not\succeq0$，括号里的二次函数关于 $x$ 无下界，故 $g(w)=-\infty$，即 $w\not\in\dom g$。当 $A^\TT WA\succ0$ 时（即定义了一个严格的线性矩阵不等式），通过解析求解二次函数的极小值，可以得到函数 $g$ 的一个简单的表达式
+>
+> $$\begin{aligned}
+>   g(w)&=b^{\TT}Wb-b^{\TT}WA(A^{\TT}WA)^{-1}A^{\TT}Wb
+>   \\
+>   &=\sum_{i=1}^{n}w_{i}b_{i}^{2}-\sum_{i=1}^{n}w_{i}^{2}b_{i}^{2}a_{i}^{\TT}\left(\sum_{j=1}^{n}w_{j}a_{j}a_{j}^{\TT}\right)^{-1}a_{i}
+> \end{aligned}$$
+>
+> 从上述表达式并不能立即得到函数 $g$ 的凹性（不过可以从矩阵分式函数的凸性来推导函数 $g$ 的凹性）。
+
+> **举例**&emsp;**对称矩阵的最大特征值**。 定义函数 $f(X)=\lambda_{\max}(X)$，其定义域为 $\dom f=\mathbf{S}^m$，它是凸函数。为了说明这一点，我们将 $f$ 表述为
+>
+> $$
+> f(X)=\sup\{y^\TT Xy\mid\|y\|_2=1\}
+> $$
+>
+> 即针对不同的 $y\in\mathbf{R}^m$ 关于 $X$ 的一族线性函数（即$y^\TT Xy$）的逐点上确界。
+
+> **举例**&emsp;**矩阵范数**。考虑函数 $f(X)=\|X\|_2$，其定义域为 $\dom f=\mathbf{R}^{p\times q}$，其中 $\|\cdot\|_2$ 表示谱范数或者最大奇异值。函数 $f$ 可以表述为
+>
+> $$
+> f(X)=\sup\{u^{\TT}Xv\mid\|u\|_{2}=1,\|v\|_{2}=1\}
+> $$
+>
+> 由于它是 $X$ 的一族线性函数的逐点上确界，所以是凸函数。
+>
+> 作为一个推广，假设 $\|\cdot\|_a$和$\|\cdot\|_b$ 分别是 $\mathbf{R}^p$ 和 $\mathbf{R}^q$ 上的范数，定义矩阵 $X\in\mathbf{R}^{p\times q}$ 的诱导范数为
+>
+> $$
+> \|X\|_{a,b}=\sup_{v\neq0}\frac{\|Xv\|_{a}}{\|v\|_{b}}
+> $$
+
+## 3.3 表示成一族仿射函数的逐点上确界
+
+&emsp;&emsp;上述例子描述了一个建立函数凸性的好方法：将函数表示为一族仿射函数的逐点上确界。除了一个技术条件，反过来也是成立的：几乎所有的凸函数都可以表示成一族仿射函数的逐点上确界。例如，若函数 $f:\mathbf{R}^n\to\mathbf{R}$ 是凸函数，其定义域为 $\dom f=\mathbf{R}^n$，我们有
+
+$$
+f(x)=\sup\{g(x)\mid g\:\text{仿射},\:g(z)\leqslant f(z)\:\forall z\}
+$$
+
+换言之，函数 $f$ 是它所有的仿射全局下估计的逐点上确界。下面我们将证明这个结论。
+
+&emsp;&emsp;设函数 $f$ 是凸函数，定义域为 $\dom f=\mathbf{R}^{n}$ ，显然下面的不等式成立
+
+$$
+f ( x ) \geqslant \sup \{g ( x ) \mid g\:\text{仿射}, \ g ( z ) \leqslant f ( z ) \ \forall z \},
+$$
+
+因为函数 $g$ 是函数 $f$ 的任意仿射下估计，我们有 $g ( x ) \leqslant f ( x )$。为了建立等式，我们说明，对于任意 $x \in\mathbf{R}^{n}$，存在仿射函数 $g$ 是函数 $f$ 的全局下估计，并且满足 $g ( x )=f ( x )$。
+
+&emsp;&emsp;毫无疑问，函数 $f$ 的上境图是凸集，因此我们在点 $( x, f ( x ) )$ 处可以找到此凸集的支撑超平面，即存在 $a \in\mathbf{R}^{n}$，$\; b \in\mathbf{R}$ 且 $( a, b ) \neq0$，使得对任意 $( z, t ) \in\epi f$，有
+
+$$
+\left[ \begin{array} {c} a \\ b \\ \end{array} \right]^{\TT} \left[ \begin{array} {c} {x-z} \\ {f ( x )-t} \\ \end{array} \right] \leqslant0.
+$$
+
+即对任意 $z\in\dom f=\mathbf{R}^n$ 以及所有 $s\geqslant0$（$(z,t)\in\epi f$ 等价于存在 $s\geqslant0$ 使得 $t=f(z)+s$），下式成立
+
+$$\begin{equation}\label{ProofOfAffineFunctionRepresentation}
+  a^\TT(x-z)+b(f(x)-f(z)-s)\leqslant0
+\end{equation}
+$$
+
+为了保证不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 对所有的 $s\geqslant0$ 均成立，必须有 $b\geqslant0$。若 $b=0$，对所有的$z\in\mathbf{R}^n$，不等式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以简化为 $a^\TT(x-z)\leqslant0$，这意味着 $a=0$，于是和假设 $(a,b)\neq0$ 矛盾。因此 $b>0$，即支撑超平面不是竖直的。
+
+&emsp;&emsp;我们知道 $b>0$，因此，对任意 $z$，令 $s=0$，式 $\eqref{ProofOfAffineFunctionRepresentation}$ 可以重新表述为
+
+$$
+g(z)=f(x)+(a/b)^{\TT}(x-z)\leqslant f(z)
+$$
+
+由此说明函数 $g$ 是函数 $f$ 的一个仿射下估计，并且满足 $g(x)=f(x)$。
+
+# 4. 复合
+
+&emsp;&emsp;本节给定函数 $h:\mathbf{R}^k\to\mathbf{R}$ 以及 $g:\mathbf{R}^n\to\mathbf{R}^k$，定义复合函数 $f=h\circ g:\mathbf{R}^n\to\mathbf{R}$ 为
+
+$$
+f(x)=h(g(x)),\quad\dom f=\{x\in\dom g\mid g(x)\in\dom h\}
+$$
+
+我们考虑当函数 $f$ 保凸或者保凹时，函数 $h$ 和 $g$ 必须满足的条件。
+
+## 4.1 标量复合
+
+&emsp;&emsp;首先考虑 $k=1$ 的情况，即 $h:\mathbf{R}\to\mathbf{R}$，$g:\mathbf{R}^n\to\mathbf{R}$。仅考虑 $n=1$ 的情况（事实上，将函数限定在与其定义域相交的任意直线上得到的函数决定了原函数的凸性）。
+
+&emsp;&emsp;为了找出复合规律，首先假设函数 $h$ 和 $g$ 是二次可微的，且 $\dom g= \dom h= \mathbf{R}$。在上述假设下，函数 $f$ 是凸的等价于 $f^{\prime\prime}\geqslant 0$（即对所有的 $x\in\mathbf{R}$，$f^{\prime\prime}(x)\geqslant 0$）。
+
+&emsp;&emsp;复合函数 $f=h\circ g$ 的二阶导数为
+
+$$\begin{equation}\label{SecondDerivativeOfScalarCompositionFunction}
+  f''(x)=h''(g(x))g'(x)^2+h'(g(x))g''(x)
+\end{equation}$$
+
+假设函数 $g$ 是凸函数（$g^{\prime\prime}\geqslant 0$），函数 $h$ 是凸函数且非减（即$h^{\prime\prime}\geqslant0$ 且 $h^{\prime}\geqslant0$），从式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 可以得出 $f^{\prime\prime}\geqslant 0$，即函数 $f$ 是凸函数。类似地，由式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 可以得出如下结论
+
+$$\begin{equation}\label{Conclusion1}\begin{aligned}
+  若\,h\,是凸函数且非减，g\,是凸函数，则\,f\,是凸函数，\\
+  若\,h\,是凸函数且非增，g\,是凹函数，则\,f\,是凸函数，\\
+  若\,h\,是凹函数且非减，g\,是凹函数，则\,f\,是凹函数，\\
+  若\,h\,是凹函数且非增，g\,是凸函数，则\,f\,是凹函数。
+\end{aligned}\end{equation}$$
+
+上述结论在函数 $g$ 和 $h$ 二次可微且定义域均为 $\mathbf{R}$ 时成立。事实上，对于更一般的情况，如 $n>1$，不再假设函数 $h$ 和 $g$ 可微或者 $\dom g=\mathbf{R}^n$，$\dom h=\mathbf{R}$，一些相似的复合规则仍然成立
+
+$$\begin{equation}\label{Conclusion2}\begin{aligned}
+  若\,h\,是凸函数且\,\tilde{h}\,非减，\,g\,是凸函数，则\,f\,是凸函数，\\
+  若\,h\,是凸函数且\,\tilde{h}\,非增，\,g\,是凹函数，则\,f\,是凸函数，\\
+  若\,h\,是凹函数且\,\tilde{h}\,非减，\,g\,是凹函数，则\,f\,是凹函数，\\
+  若\,h\,是凹函数且\,\tilde{h}\,非增，\,g\,是凸函数，则\,f\,是凹函数。
+\end{aligned}\end{equation}$$
+
+其中，$\tilde{h}$ 表示函数 $h$ 的扩展值延伸，若点不在 $\dom h$ 内，对其赋值 $\infty$（若 $h$ 是凸函数）或者$-\infty$（若 $h$ 是凹函数）。这些结论和式 $\eqref{Conclusion1}$ 中的结论的唯一不同是我们要求**扩展值延伸**（*extended-value extension*）$\tilde{h}$ 在整个 $\mathbf{R}$ 上非增或者非减。
+
+&emsp;&emsp;为了更好地理解式 $\eqref{Conclusion2}$ 中的结论，假设 $h$ 是凸函数，所以 $\tilde{h}$ 在定义域 $\dom h$ 外取值为 $\infty$。$\tilde{h}$ 非减意味着对于任意 $x,y\in\mathbf{R}$，$x<y$，有 $\tilde{h}(x)\leqslant\tilde{h}(y)$。特别地，若 $y\in\dom h$，则 $x\in\dom h$。换言之，我们可以认为 $h$ 的定义域在负方向上无限延伸。它或者是 $\mathbf{R}$ 或者是形如 $(-\infty,a)$ 或 $\left(-\infty,a\right]$ 的区间。类似地，若 $h$ 是凸函数且 $\tilde{h}$ 非增，我们可以理解为 $h$ 是非增的且 $\dom h$ 在正方向上趋于无穷。[图 7](#图7) 描述了不同的扩展值延伸的情况。
+
+<a id="图7"></a>
+
+![图 7. **左**：函数 $x^2$，其定义域为 $\mathbf{R}_+$，在其定义域内是凸且非减的，但是其扩展值延伸不是非减的。**右**：函数 $\max\{x,0\}^2$，其定义域为 $\mathbf{R}$，函数是凸函数，且其扩展值延伸是非减的。](../images/post/2024-07-03-josh-cvx-2-2/2024-07-03-josh-cvx-2-2-070-ExtendedValueExtension.png){width=700px}
+
+> **举例**&emsp;通过一些简单例子，我们可以更好地理解复合定理中函数 $h$ 需要满足的条件。
+>
+> - 函数 $h(x)=\log x$：定义域为 $\dom h=\mathbf{R}_{++}$，为凹函数且 $\tilde{h}$ 非减。
+> - 函数 $h(x)=x^1/2$：定义域为 $\dom h=\mathbf{R}_+$，为凹函数且 $\tilde{h}$ 非减。
+> - 函数 $h(x)=x^{3/2}$：定义域为 $\dom h=\mathbf{R}_+$，为凸函数，但是**不**满足 $\tilde{h}$ 非减的条件。例如，$\tilde{h}(-1)=\infty$ 但 $\tilde{h}(1)=1$。
+> - 当 $x\geqslant 0$ 时，$h(x)=x^3/2$，当 $x<0$ 时，$h(x)=0$：定义域为 $\dom h=\mathbf{R}$，$h$ 是凸函数且满足 $\tilde{h}$ 非减的条件。
+
+&emsp;&emsp;即使不假设可微并运用表达式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$，也可以直接证明复合函数结论式 $\eqref{Conclusion2}$。举例来说，我们证明如下结论：若 $g$ 是凸函数，$h$ 是凸函数且 $\tilde{h}$ 非减，则 $f=h\circ g$ 是凸函数。
+
+> **证明**&emsp;假设 $x,y\in\dom f$，$0\leqslant\theta\leqslant1$。由 $x,y\in\dom f$，有 $x,y\in\dom g$ 且 $g( x)$, $g( y) \in \dom h$。因为 $\dom g$ 是凸集，有 $\theta x+(1-\theta)y\in\dom g$，由函数 $g$ 的凸性可得
+>
+> $$\begin{equation}\label{ConvexityOfFunctionG}
+>   g(\theta x+(1-\theta)y)\leqslant\theta g(x)+(1-\theta)g(y)
+> \end{equation}
+> $$
+>
+> 由 $g(x),g(y)\in\dom h$ 可得 $\theta g(x)+(1-\theta)g(y)\in\dom h$，即式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内。根据假设 $\tilde{h}$ 是非减的，可以理解为其定义域在负方向上无限延伸。由式 $\eqref{ConvexityOfFunctionG}$ 的右端在 $\dom h$ 内，我们知道其左侧仍在定义域内，即 $g(\theta x+(1-\theta)y)\in\dom h$，因此 $\dom f$ 是凸集。
+>
+> 根据前提条件，$\tilde{h}$ 非减，利用不等式 $\eqref{ConvexityOfFunctionG}$，有
+>
+> $$\begin{equation}\label{NondecreasingOfFunctionH}
+>   h(g(\theta x+(1-\theta)y))\leqslant h(\theta g(x)+(1-\theta)g(y))
+> \end{equation}
+> $$
+>
+> 由函数 $h$ 的凸性可得
+>
+> $$\begin{equation}\label{ConvexityOfFunctionH}
+>   h(\theta g(x)+(1-\theta)g(y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
+> \end{equation}
+> $$
+>
+> 综合式 $\eqref{NondecreasingOfFunctionH}$ 和式 $\eqref{ConvexityOfFunctionH}$ 可得
+>
+> $$
+> h(g(\theta x+(1-\theta)y))\leqslant\theta h(g(x))+(1-\theta)h(g(y))
+> $$
+>
+> 复合定理得证。
+
+> **举例**&emsp;**简单的复合结论**。
+>
+> - 若 $g$ 是凸函数，则 $\exp g(x)$ 是凸函数。
+> - 若 $g$ 是凹函数且大于零，则 $\log g(x)$ 是凹函数。
+> - 若 $g$ 是凹函数且大于零，则 $1/g(x)$是凸函数。
+> - 若 $g$ 是凸函数且不小于零，$p\geqslant1$，则 $g(x)^p$ 是凸函数。
+> - 若 $g$ 是凸函数，则 $-\log(-g(x))$ 在 $\{x\mid g(x)<0\}$ 上是凸函数。
+
+> **注释**&emsp;扩展值延伸 $\tilde{h}$ 的单调性要求必须满足，注意到是 $\tilde{h}$，而不仅仅是 $h$。例如，考虑 $g( x) = x^2$，$\dom g = \mathbf{R}$，$h( x) = 0$，$\dom h= [ 1, 2]$ 复合的情形。此时 $g$ 是凸函数，$h$ 是凸函数且非减，但是函数 $f=h\circ g$
+>
+> $$
+> f(x)=0,\quad\dom f=[-\sqrt{2},-1]\:\cup\:[1,\sqrt{2}]
+> $$
+>
+> 不是凸函数，因为其定义域非凸。当然，此时函数 $\tilde{h}$ 不是非减的。
+
+## 4.2 矢量复合
+
+&emsp;&emsp;下面考虑 $k\geqslant1$ 的情况，此时更复杂一些。设
+
+$$
+f(x)=h(g(x))=h(g_1(x),\cdots,g_k(x))
+$$
+
+其中 $h: \mathbf{R} ^k\to \mathbf{R}$，$g_i: \mathbf{R} ^n\to \mathbf{R}$。和上一节一样，不失一般性，假设 $n=1$。和 $k=1$ 的情形类似，为了得到复合规则，假设函数二次可微，且 $\dom g=$ $\mathbf{R}$，$\dom h= \mathbf{R} ^{k}$。此时，对函数 $f$ 进行二次微分可得
+
+$$\begin{equation}\label{SecondDerivativeOfVectorCompositionFunction}
+  f''(x)=g'(x)^{\TT}\nabla^2h(g(x))g'(x)+\nabla h(g(x))^{\TT}g''(x)
+\end{equation}
+$$
+
+上式可以看成式 $\eqref{SecondDerivativeOfScalarCompositionFunction}$ 对应的向量形式。同样我们需要判断在什么条件下对所有 $x$ 有 $f(x)^{\prime\prime}\geqslant0$（或者对所有 $x$ 有 $f(x)^\prime\prime\leqslant 0$，此时 $f$ 是凹函数）。利用式 $\eqref{SecondDerivativeOfVectorCompositionFunction}$，我们可以得到很多规则，例如：
+
+$$\begin{aligned}
+  若\:h\:是凸函数且在每维分量上\:h\:非减，g_i\:是凸函数，则\:f\:是凸函数；\\
+  若\:h\:是凸函数且在每维分量上\:h\:非增，g_i\:是凹函数，则\:f\:是凸函数；\\
+  若\:h\:是凹函数且在每维分量上\:h\:非减，g_i\:是凹函数，则\:f\:是凹函数。
+\end{aligned}$$
+
+和标量的情形类似，对于更一般的情况：$n>1$，不假设 $h$ 或 $g$ 可微以及一般的定义域类似的复合结论仍然成立。对于一般的结论，不仅 $h$ 需要满足单调性条件，其扩展值延伸 $\tilde{h}$ 同样必须满足。
+
+&emsp;&emsp;为了更好地理解扩展值延伸 $\tilde{h}$ 必须满足单调性条件的含义，我们考虑凸函数 $h:\mathbf{R}^{k}\to\mathbf{R}$，且 $\tilde{h}$ 非减，即对任意 $u\preceq v$，有 $\tilde{h}(u)\leqslant\tilde{h}(v)$。这说明了若 $v\in\dom h$ 则 $u\in\dom h$，也即 $h$ 的定义域在方向 $-\mathbf{R}_+^k$ 上必须无限延伸。这个条件可以紧凑地描述为 $\dom h-\mathbf{R}_{+}^{k}=\dom h$。
+
+> **举例**&emsp;矢量复合的例子。
+>
+> - 令 $h(z)=z_[1]+\cdots+z_{[r]}$，即对 $z\in\mathbf{R}^k$ 的前 $r$ 大分量进行求和。则 $h$ 是凸函数且在每一维分量上非减。假设 $g_1,\cdots,g_k$ 是 $\mathbf{R}^n$ 上的凸函数，则复合函数 $f=h\circ g$，即最大 $r\uparrow g_i$ 函数的逐点和，是凸函数。
+>
+> - 函数 $h(z)=\log\left(\displaystyle\sum_{i=1}^k\mathrm{e}^{z_i}\right)$ 是凸函数且在每一维分量上非减，因此只要 $g_i$ 是凸函数，$\log\left(\displaystyle\sum_{i=1}^{k}\mathrm{e}^{g_{i}}\right)$ 就是凸函数。
+>
+> - 对 $0<p\leqslant 1$，定义在 $\mathbf{R}_+^k$ 上的函数 $h(z)=\left(\displaystyle\sum_{i=1}^kz_i^p\right)^{1/p}$ 是凹的，且其扩展值延伸（当 $z\not\succeq0$ 时为 $-\infty$）在每维分量上非减，则若 $g_i$ 是凹函数且非负，$f(x)=\left(\displaystyle\sum_{i=1}^kg_i(x)^p\right)^{1/p}$ 是凸函数。
+>
+> - 设 $p\geqslant 1$, $g_{1}, \cdots , g_{k}$ 是凸函数且非负。则函数 $\left(\displaystyle\sum_{i=1}^ng_i(x)^p\right)^{1/p}$
+>
+>   为了说明这一点，考虑函数 $h:\mathbf{R}^k\to\mathbf{R}$
+>
+>   $$
+>   h(z)=\left(\sum_{i=1}^{k}\max\{z_{i},0\}^{p}\right)^{1/p}
+>   $$
+>
+>   其中 $\dom h=\mathbf{R}^{k}$，因此 $h=\tilde{h}$。由函数 $h$ 是凸函数且非减可知 $h(g(x))$ 关于 $x$ 是凸函数。对 $z\succeq0$，我们有 $h(z)=\left(\displaystyle\sum_{i=1}^kz_i^p\right)^{1/p}$，所以 $\left(\displaystyle\sum_{i=1}^kg_i(x)^p\right)^{1/p}$ 是凸函数。
+>
+> - 几何平均函数 $h(z)=\left(\displaystyle\prod_{i=1}^kz_i\right)^{1/k}$，定义域为 $\mathbf{R}_+^k$，它是凹函数，且其扩展值延伸在每维分量上非减。因此若 $g_1,\cdots,g_k$ 是非负凹函数，它们的几何平均 $\left(\displaystyle\prod_{i=1}^kg_i\right)^{1/k}$ 也是非负凸函数。
+
+# 5. 最小化
+
+&emsp;&emsp;我们已经得到，任意个凸函数的逐点最大或者上确界仍然是凸函数。事实上，一些特殊形式的最小化同样可以得到凸函数。若函数 $f$ 关于 $(x,y)$ 是凸函数，集合 $C$ 是非空凸集，定义函数
+
+$$\begin{equation}\label{DefinitionOfMinimization}
+  g(x)=\inf_{y\in C}f(x,y)
+\end{equation}
+$$
+
+若存在某个 $x$ 使得 $g(x)>-\infty$（该条件隐含着对所有 $x,g(x)>-\infty$），则函数 $g$ 关于 $x$ 是凸函数。函数 $g$ 的定义域是 $\dom f$ 在 $x$ 方向上的投影，即
+
+$$
+\dom g=\{x\mid 对某些\:y\in C\:有\: (x,y)\in\dom f\}
+$$
+
+&emsp;&emsp;任取 $x_1$, $x_2\in \dom g$，利用 Jensen 不等式来证明上述结论。
+
+> **证明**&emsp;令 $\epsilon>0$，则存在 $y_{1}$, $y_{2}\in C$，使 $f( x_{i}, y_{i}) \leqslant g( x_{i}) + \epsilon ( i= 1$, 2)。设 $\theta\in[0,1]$，有
+>
+> $$\begin{aligned}
+> g(\theta x_{1}+(1-\theta)x_{2})&=\inf_{y\in C}f(\theta x_{1}+(1-\theta)x_{2},y)
+> \\
+> &\leqslant f(\theta x_1+(1-\theta)x_2,\theta y_1+(1-\theta)y_2)
+> \\
+> &\leqslant\theta f(x_1,y_1)+(1-\theta)f(x_2,y_2)
+> \\
+> &\leqslant\theta g(x_1)+(1-\theta)g(x_2)+\epsilon
+> \end{aligned}$$
+>
+> 因为上式对任意$\epsilon>0$均成立，所以下式成立
+> $$
+> g(\theta x_1+(1-\theta)x_2)\leqslant\theta g(x_1)+(1-\theta)g(x_2)
+> $$
+
+&emsp;&emsp;此结论亦可通过上境图来说明。对式 $\eqref{DefinitionOfMinimization}$ 中定义的 $f$，$g$ 和 $C$，设对每个 $x$，在集合 $y\in C$ 上求下确界均可达到，则有
+
+$$
+\epi g=\{(x,t)\mid$对某个$y\in C$成立$(x,y,t)\in\epi f\}
+$$
+
+由于 $\epi g$是凸集在其中一些分量上的投影，所以它仍然是凸集。
+
+> **举例**&emsp;**Schur 补**。设二次函数
+>
+> $$
+> f(x,y)=x^{\TT}Ax+2x^{\TT}By+y^{\TT}Cy
+> $$
+>
+> （其中$A$和$C$是对称矩阵）关于 $(x,y)$ 是凸函数，即
+>
+> $$
+> \left[\begin{array}{cc}A&B\\B^{\TT}&C\end{array}\right]\succeq0
+> $$
+>
+> 我们可以将$g(x)=\inf_yf(x,y)$表述为
+>
+> $$
+> g(x)=x^{\TT}(A-BC^\dagger B^{\TT})x
+> $$
+>
+> 其中 $C^\dagger$ 是矩阵 $C$ 的伪逆。根据极小化的性质，$g$ 是凸函数，因此 $A-BC^\dagger B^{\TT}\succeq 0$。
+>
+> 如果矩阵$C$可逆，即$C\succ0$,则矩阵$A-BC^{-1}B^{\TT}$称为$C$在矩阵
+>
+> $$
+> \left[\begin{array}{cc}A&B\\B^{\TT}&C\end{array}\right]
+> $$
+>
+> 中的 Schur 补。
+
+> **举例**&emsp;**到某一集合的距离**。采用范数 $\|\cdot\|$，某点$x$到集合 $S\subseteq\mathbb{R}^n$ 的距离定义为
+>
+> $$
+> \dist (x,S)=\inf_{y\in S}\|x-y\|
+> $$
+>
+> 函数 $\|x-y\|$关于$(x,y)$ 是凸的，所以若集合 $S$ 是凸集，距离函数 $\dist (x,S)$ 是 $x$ 的凸函数。
+
+> **举例**&emsp;设 $h$ 是凸函数。则函数 $g$
+>
+> $$
+> g(x)=\inf\{h(y)\mid Ay=x\}
+> $$
+>
+> 是凸函数。为了说明这一点，定义函数 $f$
+>
+> $$
+> f(x,y)=\left\{\begin{array}{ll}h(y)&\text{如果}Ay=x\\\infty&\text{其他情况,}\end{array}\right.
+> $$
+>
+> 此函数关于$(x,y)$是凸的。以$y$为自变量，极小化函数$f$即可得到函数$g$,因此函数$g$是凸函数。(直接证明$g$是凸函数亦不复杂。)
+
+# 6. 透视函数
+
+&emsp;&emsp;给定函数 $f:\mathbf{R}^n\to\mathbf{R}$，则 $f$ 的透视函数 $g:\mathbf{R}^n+1\to\mathbf{R}$ 定义为
+
+$$
+g(x,t)=tf(x/t)
+$$
+
+其定义域为
+
+$$
+\mathbf{dom}g=\{(x,t)\mid x/t\in\mathbf{dom}f,t>0\}
+$$
+
+透视运算是保凸运算：如果函数 $f$ 是凸函数，则其透视函数 $g$ 也是凸函数。类似地，若
+$f$ 是凹函数，则 $g$ 亦是凹函数。
+
+&emsp;&emsp;可以从多个角度来证明此结论，例如，我们可以直接验证定义凸性的不等式。这里应用上境图和[透视函数][]一节所描述的 $\mathbf{R}^{n+1}$ 上的透视映射给出一个简短的证明（同时也可以说明“透视”一词的由来）。当 $t>0$ 时，我们有
+
+$$\begin{array}{lll}
+(x,t,s)\in\epi g&\iff&tf(x/t)\leqslant s
+\\
+&\iff&f(x/t)\leqslant s/t
+\\
+&\iff&(x/t,s/t)\in\epi f
+\end{array}$$
+
+因此，$\epi g$是透视映射下 $\epi f$ 的原像，此透视映射将 $(u,v,w)$ 映射为 $(u,w)/v$。根据[透视函数][]一节中的结论，$\epi g$ 是凸集，所以函数 $g$ 是凸函数。
+
+> **举例**&emsp;**Euclid 范数的平方**。$\mathbb{R}^n$ 上的凸函数 $f(x)=x^{\TT}x$ 的透视函数由下式给出
+>
+> $$
+> g(x,t)=t(x/t)^{\TT}(x/t)=\frac{x^{\TT}x}{t}
+> $$
+>
+> 当 $t>0$ 时它关于 $(x,t)$ 是凸函数。
+>
+> 我们可以利用其他方法导出$g$的凸性。首先，将 $g$ 表示为一系列二次-线性分式函数 $x_i^2/t$ 的和。在[凸函数举例][]部分，我们已经知道，每一项 $x_i^2/t$ 是凸函数，因此和亦为凸函数。另一方面。我们可以将 $g$ 表述为一种特殊的矩阵分式函数 $x^{\TT}(tI)^{-1}x$，由此导出凸性。
+
+> **举例**&emsp;**负对数**。考虑 $\mathbf{R}_{++}$ 上的凸函数 $f(x)=-\log x$，其透视函数为
+>
+> $$
+> g(x,t)=-t\log(x/t)=t\log(t/x)=t\log t-t\log x
+> $$
+>
+> 在 $\mathbf{R}_{++}^{2}$ 上它是凸函数。函数 $g$ 称为关于 $t$ 和 $x$ 的**相对熵**（*relative entropy*）。当 $x=1$ 时，$g$ 即为负熵函数。
+>
+> 基于函数 $g$ 的凸性，我们可以得出一些有趣的相关函数的凸性或凹性。首先，定义两个向量 $u, v\in \mathbf{R} _{+ + }^{n}$ 的相对熵
+>
+> $$
+> \sum_{i=1}^nu_i\log(u_i/v_i)
+> $$
+>
+> 由于它是一系列 $u_i,v_i$ 的相对熵的和，因此关于 $(u,v)$ 是凸函数。
+>
+> 另一个密切相关的函数是向量 $u,v\in\mathbf{R}_{++}^{n}$ 之间的 **Kullback-Leibler 散度**（Kullback-Leibler divergence），其形式为
+>
+> $$\begin{equation}\label{KLDivergence}
+>   D_{\mathrm{kl}}(u,v)=\sum_{i=1}^{n}\left(u_{i}\log(u_{i}/v_{i})-u_{i}+v_{i}\right)
+> \end{equation}
+> $$
+>
+> 因为它是 $(u,v)$ 的相对熵和线性函数的和，所以它也是凸函数。Kullback-Leibler 散度总是满足 $D_{\mathrm{kl}}(u,v)\geqslant0$，当且仅当 $u=v$ 时，$D_\mathrm{kl}(u,v)=0$，因此 Kullback-Leibler 散度可以用来衡量两个正向量之间的偏差。（注意到当 $u$ 和 $v$ 都是概率向量，即 $\mathbf{1}^{\TT}u=\mathbf{1}^{\TT}v=1$ 时，相对熵和 Kullback-Leibler 散度是等价的。）
+>
+> 如果在相对熵函数中选择 $v_i=\mathbf{1}^{\TT}u$，我们可以得到定义在 $u\in\mathbb{R}_+^n$ 上的凹函数（也是齐次函数）
+>
+> $$
+> \sum_{i=1}^{n}u_{i}\log(\mathbf{1}^{\TT}u/u_{i})=(\mathbf{1}^{\TT}u)\sum_{i=1}^{n}z_{i}\log(1/z_{i})
+> $$
+>
+> 其中 $z=u/(\mathbf{1}^{\TT}u)$。此函数称为**归一化熵**（*normalized entropy*）函数。向量 $z=u/\mathbf{1}^{\TT}u$ 的分量和为 1，称为归一化向量或者概率分布；$u$ 的归一化熵是 $\mathbf{1}^{\TT}u$和归一化概率分布 $z$ 的熵的乘积。
+
+> **举例**&emsp;设 $f:\mathbf{R}^m\to\mathbf{R}$ 是凸函数，$A\in\mathbf{R}^m\times n,b\in\mathbf{R}^m,c\in\mathbf{R}^n,d\in\mathbf{R}$。定义
+>
+> $$
+> g(x)=(c^Tx+d)f\left((Ax+b)/(c^Tx+d)\right)
+> $$
+>
+> 其定义域为
+>
+> $$
+> \mathbf{dom}g=\{x\mid c^Tx+d>0,(Ax+b)/(c^Tx+d)\in\mathbf{dom}f\}
+> $$
+>
+> 则$g$是凸函数。
+
+# 参考文献
+
+1. Stephen P. Boyd and Lieven Vandenberghe, *Convex optimization*. Cambridge, UK: Cambridge University Press, 2004.
+2. Stephen P. Boyd and Lieven Vandenberghe, *凸优化*. 北京: 清华大学出版社, 2013.
+
+[透视函数]: https://josh-gao.top/posts/a4a69a4f.html#%E9%80%8F%E8%A7%86%E5%87%BD%E6%95%B0
+[凸函数举例]: https://josh-gao.top/posts/320f661c.html#%E4%BE%8B%E5%AD%90

source/_posts/2025-07-02-gaussian-dist-pdf-derivation.md

@@ -0,0 +1,279 @@
+---
+title: 信息论角度推导高斯分布的概率密度函数
+mathjax: true
+comments: true
+copyright: true
+toc:
+  enable: true
+  number: true
+  wrap: true
+  expand_all: true
+  max_depth: 4
+abbrlink: '741621e3'
+date: 2025-07-02 09:20:07
+tags:
+  - 高斯分布
+  - 信息论
+categories:
+  - [数学, 概率论]
+---
+
+$\newcommand\diff{\mathop{}\!\mathrm{d}}$
+
+# 背景与目标
+
+在统计建模中，我们常常面临这样一个问题：**已知某个连续随机变量的期望和方差，如何合理地确定它的概率分布？** 最大熵原理（Maximum Entropy Principle）提供了一个具有信息论意义的答案：
+
+> 在已知约束（如期望与方差）下，熵最大的概率密度函数是最“中立”或最“无偏”的选择。
+
+熵在此表示不确定性或信息量。连续型随机变量的微分熵定义为：
+
+$$
+\begin{equation*}
+H[p] = -\int_{-\infty}^{\infty} p(x) \ln p(x) \, \diff x
+\end{equation*}
+$$
+
+我们的目标是：**在已知期望和方差的约束下，最大化熵 $H[p]$，求出最优概率密度函数 $p(x)$**。
+
+<!-- more -->
+
+# 约束条件
+
+我们假设随机变量 $X$ 满足：
+
+- 归一化约束：
+
+  $$
+  \begin{equation*}
+  \int_{-\infty}^{\infty} p(x) \, \diff x = 1
+  \end{equation*}
+  $$
+
+- 期望约束：
+
+  $$
+  \begin{equation*}
+  \int_{-\infty}^{\infty} x \, p(x) \, \diff x = \mu
+  \end{equation*}
+  $$
+
+- 方差约束：
+
+  $$
+  \begin{equation*}
+  \int_{-\infty}^{\infty} (x - \mu)^2 \, p(x) \, \diff x = \sigma^2
+  \end{equation*}
+  $$
+
+# 构造拉格朗日泛函
+
+引入拉格朗日乘子 $\lambda_0, \lambda_1, \lambda_2$，构造带约束的目标泛函：
+
+$$
+\begin{equation*}
+\mathcal{L}[p] = -\int p(x) \ln p(x) \diff x
++ \lambda_0 \left( \int p(x) \diff x - 1 \right)
++ \lambda_1 \left( \int x p(x) \diff x - \mu \right)
++ \lambda_2 \left( \int (x - \mu)^2 p(x) \diff x - \sigma^2 \right)
+\end{equation*}
+$$
+
+将所有积分项合并为：
+
+$$
+\begin{equation*}
+\mathcal{L}[p] = \int \left[
+- p(x) \ln p(x)
++ \lambda_0 p(x)
++ \lambda_1 x p(x)
++ \lambda_2 (x - \mu)^2 p(x)
+\right] \diff x
+\end{equation*}
+$$
+
+# 变分法求极值
+
+我们考虑一个扰动：
+
+$$
+\begin{equation*}
+p(x) \rightarrow p(x) + \epsilon \eta(x)
+\end{equation*}
+$$
+
+其中 $\epsilon$ 是足够小的实数，$\eta(x)$ 是任意光滑、在积分区间内有界且满足边界条件的函数（可理解为“任意小的扰动”）。为了求出 $\dfrac{\delta \mathcal{L}}{\delta p(x)}$，我们代入扰动项进行展开：
+
+$$
+\begin{equation*}
+\mathcal{L}[p + \epsilon \eta]
+= -\int (p(x) + \epsilon \eta(x)) \ln (p(x) + \epsilon \eta(x)) \, \diff x + \text{其余约束项}
+\end{equation*}
+$$
+
+> 注意：这里只展开了主熵项 $-\displaystyle\int p \ln p$，约束项形式类似，将在后面统一处理。
+
+---
+
+对主项使用泰勒展开（忽略高阶小量）：
+
+> **泰勒展开回顾：**
+>
+> 设 $f(p) = p \ln p$，我们对 $p(x) + \epsilon \eta(x)$ 展开，有：
+> $$
+> f(p + \epsilon \eta) = p \ln p + \epsilon \eta (1 + \ln p) + o(\epsilon)
+> $$
+> 其中：
+> $$
+> \frac{\diff }{\diff p}(p \ln p) = \ln p + 1
+> $$
+
+将其代入：
+
+$$
+\begin{align*}
+\mathcal{L}[p + \epsilon \eta]
+&= -\int \left[ p(x) \ln p(x) + \epsilon \eta(x)(1 + \ln p(x)) \right] \diff x + o(\epsilon) + \text{约束项} \\
+&= \mathcal{L}[p] - \epsilon \int \eta(x) (1 + \ln p(x)) \diff x + o(\epsilon) + \text{约束项}
+\end{align*}
+$$
+
+对约束项也类似展开：
+
+- 对归一化项：
+
+  $$
+  \begin{equation*}
+  \lambda_0 \left( \int (p + \epsilon \eta) \diff x - 1 \right)
+  = \lambda_0 \left( \int p \, \diff x - 1 + \epsilon \int \eta \, \diff x \right)
+  \end{equation*}
+  $$
+
+- 对期望项：
+
+  $$
+  \begin{equation*}
+  \lambda_1 \left( \int x (p + \epsilon \eta) \diff x - \mu \right)
+  = \lambda_1 \left( \int x p \, \diff x - \mu + \epsilon \int x \eta \, \diff x \right)
+  \end{equation*}
+  $$
+
+- 对方差项：
+
+  $$
+  \begin{equation*}
+  \lambda_2 \left( \int (x - \mu)^2 (p + \epsilon \eta) \diff x - \sigma^2 \right)
+  = \lambda_2 \left( \int (x - \mu)^2 p \, \diff x - \sigma^2 + \epsilon \int (x - \mu)^2 \eta(x) \diff x \right)
+  \end{equation*}
+  $$
+
+---
+
+将所有一阶 $\epsilon$ 项收集起来：
+
+$$
+\begin{equation*}
+\mathcal{L}[p + \epsilon \eta] = \mathcal{L}[p]
++ \epsilon \int \eta(x) \left[ - (1 + \ln p(x)) + \lambda_0 + \lambda_1 x + \lambda_2 (x - \mu)^2 \right] \diff x + o(\epsilon)
+\end{equation*}
+$$
+
+对 $\epsilon$ 求导并令其在 $\epsilon = 0$ 处为零：
+
+$$
+\begin{equation*}
+\left. \frac{\diff}{\diff \epsilon} \mathcal{L}[p + \epsilon \eta] \right|_{\epsilon=0}
+= \int \eta(x) \left[ -\ln p(x) - 1 + \lambda_0 + \lambda_1 x + \lambda_2 (x - \mu)^2 \right] \diff x = 0
+\end{equation*}
+$$
+
+根据变分法基本引理，这个积分当且仅当括号内为 $0$ 时对所有扰动函数 $\eta(x)$ 为零：
+
+> 变分法基本引理：
+>
+> 若函数 $F(x)$ 满足
+> $$
+> \int_{a}^{b} F(x) \cdot \eta(x) dx = 0
+> $$
+> 对所有合适扰动 $\eta(x)$ 成立，则必有
+> $$
+> F(x) = 0 \quad \forall x \in (a, b)
+> $$
+>
+> 这是因为若 $F(x_0) \ne 0$，则可构造在 $x_0$ 附近支持的 $\eta(x)$ 使得积分不为零，导致矛盾。
+
+$$
+\begin{equation*}
+\frac{\delta \mathcal{L}}{\delta p(x)} = -\ln p(x) - 1 + \lambda_0 + \lambda_1 x + \lambda_2 (x - \mu)^2 = 0
+\end{equation*}
+$$
+
+也即求得了变分导数。移项得：
+
+$$
+\begin{equation*}
+\ln p(x) = \lambda_0' + \lambda_1 x + \lambda_2 (x - \mu)^2
+\end{equation*}
+$$
+
+两边取指数：
+
+$$
+\begin{equation*}
+p(x) = \exp\left( \lambda_0' + \lambda_1 x + \lambda_2 (x - \mu)^2 \right)
+\end{equation*}
+$$
+
+要满足可积性，需 $\lambda_2 < 0$。设
+
+$$
+\begin{equation*}
+p(x) = A \cdot \exp\left( -\alpha (x - \mu)^2 \right)
+\end{equation*}
+$$
+
+# 归一化与确定参数
+
+根据归一化条件：
+
+$$
+\begin{equation*}
+A \cdot \int_{-\infty}^{\infty} \exp\left( -\alpha (x - \mu)^2 \right) \diff x = 1
+\end{equation*}
+$$
+
+已知高斯积分结果：
+
+$$
+\begin{equation*}
+\int_{-\infty}^{\infty} \exp\left( -\alpha (x - \mu)^2 \right) \diff x = \sqrt{\frac{\pi}{\alpha}}
+\end{equation*}
+$$
+
+得到：
+
+$$
+\begin{equation*}
+A = \sqrt{\frac{\alpha}{\pi}}
+\end{equation*}
+$$
+
+若令 $\alpha = \dfrac{1}{2\sigma^2}$，则最终得：
+
+$$
+\begin{equation*}
+p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)
+\end{equation*}
+$$
+
+# 总结
+
+从最大熵原理出发，在已知均值与方差的约束下，最“无偏”或熵最大的概率密度函数是：
+
+$$
+\begin{equation*}
+p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)
+\end{equation*}
+$$
+
+这正是**高斯分布**的标准形式，说明它不仅数学上方便，**信息论上也是最合理的选择**。