josh/josh-blog-source
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
Files
306b2eeeac8d4278d204634523111e92d746606f
josh-blog-source/source/_drafts/2021-11-28-josh-toi-part-2.md
T

13 KiB
Raw Blame History

title, mathjax, comments, copyright, sticky, toc, tags, categories, abbrlink, date
title mathjax comments copyright sticky toc tags categories abbrlink date
Josh 的学习笔记之信息论（Part 2 —— 离散信源及其信息测度） true true true false
enable number wrap expand_all max_depth
true true true true 4
信息测度
离散信源
离散平稳信源
Markov 信源
信息熵
Josh 的学习笔记
信息论
3db469da 2021-11-28 00:13:29

信源的数学模型及分类1

一维离散信源和一维连续信源(单符号)

概率空间 完备约束 含义
一维离散信源 $$
\left[ \begin{array}{c}
X\
P\left( x \right)\
\end{array} \right] =\left[ \begin{matrix}
x_1,& x_2,& \cdots ,& x_q\
P\left( x_1 \right) ,& P\left( x_2 \right) ,& \cdots ,& P\left( x_q \right)\
\end{matrix} \right]
|

\sum_i{P\left( x_i \right)}=1 $$ | 其中 0\leq P\left( x_i \right) \leq 1\left( i=1,2,\cdots ,q \right) 是信源输出符号 x_i\left( i=1,2,\cdots ,q \right) 的先验概率。一维离散信源每次只输出一个消息，消息的可能数目是有限多个 | | 一维连续信源 | $$ \left[ \begin{array}{c} X\ p\left( x \right)\ \end{array} \right] =\left[ \begin{array}{c} \left( a,b \right)\ p\left( x \right)\ \end{array} \right]

|

\int_a^b{p\left( x \right) \mathrm{d}x}=1 $$ | 其中 p\left( x \right) 是随机变量 X 的概率密度函数。一维连续信源每次只输出一个消息，但消息的可能数目是无限多个 |

多符号离散信源

  采用随机矢量描述多符号离散信源，即

$$\begin{equation}\label{eq2-1} \vec{X}=\left( X_1X_2\cdots X_N \right) \end{equation}$$

N 维随机矢量 \vec{X} 也称为随机序列。

离散平稳信源和连续平稳信源

离散平稳信源

  若信源输出的随机序列中每个随机变量都是离散型随机变量，且随机序列的各维概率密度函数与时间起点无关，即随机变量的统计特性不随着时间的推移而有所变化，此时称为离散平稳信源。

连续平稳信源

  若信源输出的消息可用 N 维随机矢量来描述，其中每个随机分量都是连续型随机变量，且随机变量的各维概率密度函数与时间起点无关，即随机变量的统计特性不随着时间的推移而有所变化，此时称为连续平稳信源。

平稳信源又分为无记忆信源(输出符号彼此统计独立)和有记忆信源。

离散信源的信息熵

信息量

信息量的直观定义

$$\begin{align} &\text{收到某消息获得的信息量} \nonumber \ =&\text{不确定性减少的量} \nonumber \ =&(\text{收到消息}\textbf{前}\text{关于某件事发生的不确定性})-(\text{收到此消息}\textbf{后}\text{的不确定性}) \nonumber \end{align}$$

特别地，对于无噪信道 $$\begin{align} &\text{收到某消息获得的信息量} \nonumber \ =&\text{收到消息前关于某事件发生的不确定性} \nonumber \ =&\text{信源输出某消息中所含信息量} \nonumber \end{align}$$

自信息量

  若已知事件 a_i 发生，则该事件所含有的信息量称为自信息量，定义为2 3

$$\begin{equation}\begin{aligned} &\bbox{I\left( a_i \right) =\log _2\frac{1}{P\left( a_i \right)}\left( \mathrm{bit} \right) =\log \frac{1}{P\left( a_i \right)}\left( \mathrm{bit} \right) } \ &\phantom{,I\left( a_i \right) }=\ln \frac{1}{P\left( a_i \right)}\left( \mathrm{nat} \right) =\lg \frac{1}{P\left( a_i \right)}\left( \mathrm{hart} \right) =\log _r\frac{1}{P\left( a_i \right)}\left( r\text{进制单位} \right) \end{aligned}\end{equation}$$

自信息量的含义：当事件 a_i 发生以前，表示事件 x_i 发生的不确定性；当事件 a_i 发生以后，表示事件 a_i 所含有(或所提供)的信息量。在无噪信道中，能正确无误地传输到收信者，所以 I\left( a_i \right) 可代表接收到消息 x_i 后所获得的信息量，这是因为消除了 I\left( a_i \right) 大小的不确定性，才获得这么大小的信息量。

联合自信息量

  设信源模型为

$$\begin{equation} \left[ \begin{array}{c} XY\ P\left( XY \right)\ \end{array} \right] =\left[ \begin{matrix} x_1y_1,& \cdots ,& x_1y_m,& x_2y_1,& \cdots ,& x_2y_m,& \cdots ,& x_ny_1,& \cdots ,& x_ny_m\ P\left( x_1y_1 \right) ,& \cdots ,& P\left( x_1y_m \right) ,& P\left( x_2y_1 \right) ,& \cdots ,& P\left( x_2y_m \right) ,& \cdots ,& P\left( x_ny_1 \right) ,& \cdots ,& P\left( x_ny_m \right)\ \end{matrix} \right] \end{equation}$$

其中 0\leq P\left( x_iy_j \right) \leq 1\left( i=1,2,\cdots n;j=1,2,\cdots ,m \right) 且 $\displaystyle\sum_i{\sum_j{P\left( x_iy_j \right)}}=1$，则联合自信息量为

$$\begin{equation} \bbox{I\left( x_iy_j \right) =\log _2\frac{1}{P\left( x_iy_j \right)}} \end{equation}$$

当 X 和 Y 相互独立时，P\left( x_iy_j \right) =P\left( x_i \right) P\left( y_j \right) $$\begin{equation} I\left( x_iy_j \right) =\log _2\frac{1}{P\left( x_iy_j \right)}=\log _2\frac{1}{P\left( x_i \right)}+\log _2\frac{1}{P\left( y_j \right)}=I\left( x_i \right) +I\left( y_j \right) \end{equation}$$ 即两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。

条件自信息量

  设在 y_i 条件下发生 x_i 的条件概率为 $P\left( x_i|y_j \right) $，则其条件自信息量定义为

$$\begin{equation} \bbox{I\left( x_i|y_j \right) =\log _2\frac{1}{P\left( x_i|y_j \right)}} \end{equation}$$

表示在特定的条件下(y_i 已定)随机事件 x_i 所带来的信息量。

自信息量、条件自信息量和联合自信息量之间的关系： $$\begin{equation} \bbox{\begin{array}{c} I\left( x_iy_j \right) =\displaystyle\frac{1}{\log _2P\left( y_j \right) P\left( x_i|y_j \right)}=I\left( y_j \right) +I\left( x_i|y_j \right)\ \phantom{I\left( x_iy_j \right) }=\displaystyle\frac{1}{\log _2P\left( x_i \right) P\left( y_j|x_i \right)}=I\left( x_i \right) +I\left( y_j|x_i \right) \ \end{array}} \end{equation}$$

互信息量及其性质

互信息的定义

  考虑信源 $X$、信宿 Y 均为一维离散信源的情况，则 y_i 对 x_i 的互信息量定义为后验概率与先验概率比值的对数，即

$$\begin{equation}\begin{aligned} I\left( x_i;y_j \right) &=\log _2\frac{P\left( x_i|y_j \right)}{P\left( x_i \right)}=\log _2\frac{1}{P\left( x_i \right)}-\log _2\frac{1}{P\left( x_i|y_j \right)} \ &=I\left( x_i \right) -I\left( x_i|y_j \right) \end{aligned}\end{equation}$$

其中 $i=1,2,\cdots ,n; j=1,2,\cdots ,m$；信源发出消息 x_i 的概率 P\left( x_i \right) 称为先验概率；信宿收到 y_i 后推测信源发出 的概率 P\left( x_i|y_j \right) 称为后验概率。

观察角度 互信息量 含义
接收端 $$\begin{align}
I\left( x_i;y_j \right) &=\log _2\frac{1}{P\left( x_i \right)}-\log _2\frac{1}{P\left( x_i y_j \right)} \nonumber \
&\bbox{=I\left( x_i \right) -I\left( x_i y_j \right) } \nonumber
\end{align}$$ 两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量
发送端 $$\begin{align}
I\left( y_j;x_i \right) &=\log _2\frac{1}{P\left( y_j \right)}-\log _2\frac{1}{P\left( y_j x_i \right)} \nonumber \
&\bbox{=I\left( y_j \right) -I\left( y_j x_i \right) } \nonumber
\end{align}$$ 观察者得知输入端发出 x_i 前、后对输出端出现 y_i 的不确定度的差
通信系统 $$\begin{align}
I\left( x_i;y_j \right) &=\log _2\frac{1}{P\left( x_i \right) P\left( y_j \right)}-\log _2\frac{1}{P\left( x_iy_j \right)} \nonumber \
&\bbox{=I\left( x_i \right) +I\left( y_j \right) -I\left( x_iy_j \right) } \nonumber
\end{align}$$ 通信前，输入随机变量 X 和输出随机变量 Y 之间没有任何关联关系，即 $X$，Y 统计独立；通信后，输入随机变量 X 和输出随机变量 Y 之间由信道的统计特性相联系

注：这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。

互信息的性质

对称性


\bbox{I\left( x_i;y_j \right) =I\left( y_j;x_i \right) }

互信息量反映两个随机事件的可能结果 x_i 和 y_i 之间的统计约束程度，从 y_i 得到的关于 x_i 的信息量 I\left( x_i;y_j \right) 与从 x_i 得到的关于 y_i 的信息量 I\left( y_i;x_j \right) 是一样的，只是观察的角度不同而已。

X 和 Y 相互独立时的互信息

$$\begin{align} I\left( x_i;y_j \right) &=\log _2\frac{1}{P\left( x_i \right) P\left( y_j \right)}-\log _2\frac{1}{P\left( x_iy_j \right)} \nonumber \ &\xlongequal{P\left( x_iy_j \right) =P\left( x_i \right) P\left( y_j \right)}0 \nonumber \end{align}$$

x_i 和 y_i 之间不存在统计约束关系，从 y_i 得不到关于 x_i 的任何信息，反之亦然。

互信息量可为正值或负值

  • 当后验概率大于先验概率时，互信息量为正。
  • 当后验概率小于先验概率时，互信息量为负4 。

条件互信息量

  给定 z_k 的条件下，x_i 与 y_i 之间的互信息量称为条件互信息量，记作


\bbox{I\left( x_i;y_j|z_k \right) =\log _2\frac{P\left( x_i|y_jz_k \right)}{P\left( x_i|z_k \right)}} =\log _2\frac{1}{P\left( x_i|z_k \right)}-\log _2\frac{1}{P\left( x_i|y_jz_k \right)}

消息 x_i 与消息 y_jz_k 之间的互信息量记作


I\left( x_i;y_jz_k \right) =\log _2\frac{P\left( x_i|y_jz_k \right)}{P\left( x_i \right)}=\log _2\frac{1}{P\left( x_i \right)}-\log _2\frac{1}{P\left( x_i|y_jz_k \right)}

则 x_i 与 y_jz_k 之间的互信息量可进一步表示为


I\left( x_i;y_jz_k \right) =I\left( x_i;z_k \right) +I\left( x_i;y_j|z_k \right)

即一个联合事件 y_jz_k 发生后所提供的有关 x_i 的信息量 ，等于 z_k 发生后提供的有关 x_i 的信息量 I\left( x_i;z_k \right) 与给定 z_k 条件下再出现 y_i 后所提供的有关 x_i 的信息量 I\left( x_i;y_j|z_k \right) 之和。

信息熵

信息熵的定义

  已知单符号离散无记忆信源的数学模型为


\left[ \begin{matrix}
 X\\  P\left( x \right)\\
\end{matrix} \right] =\left[ \begin{matrix}
 a_i\\  P\left( a_i \right)\\
\end{matrix} \right]

则定义信源的信息熵(也称为无条件熵、Shannon 熵、熵函数、熵)，即各离散消息自信息量的数学期望，为信源的平均自信息量5 ，表示为

$$\begin{equation} \bbox{H\left( X \right) =E\left[ \log _2\frac{1}{P\left( a_i \right)} \right] =-\sum_i{P\left( a_i \right) \log _2P\left( a_i \right)},, \left( \mathrm{bit}/\text{符号} \right) } \end{equation}$$

信源熵三种物理含义

  1. 信源熵 H\left(X\right) 是表示信源输出后，每个消息/符号所提供的平均信息量；

  2. 信源熵 H\left(X\right) 是表示信源输出前，信源的平均不确定性；

  3. 用信源熵 H\left(X\right) 来表征变量 X 的随机性。

  1. 在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。不同的信源根据其输出消息的不同的随机性质进行分类。 ↩︎

  2. 一般采用以2 为底的对数，且为了书写简洁，把底数“2”略去不写。 ↩︎

  3. a_i 是一个随机变量，而 I\left( a_i \right) 是 a_i 的函数，没有确定的值，不能作为整个信源的信息测度。 ↩︎

  4. 收信者未收到 y_i 以前，对消息 x_i 是否出现的猜测难疑程度较小；但由于噪声的存在，接收到消息 y_i 后对 x_i 是否出现的猜测的难疑程度增加了，也就是收信者接收到消息 y_i 后对 x_i 出现的不确定性反而增加，所以获得的信息量为负值。 ↩︎

  5. 信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。 ↩︎

Reference in New Issue View Git Blame Copy Permalink