---
title: Josh 的学习笔记之信息论（Part 1 —— 绪论）
mathjax: true
comments: true
copyright: true
sticky: false
toc:
  enable: true
  number: true
  wrap: true
  expand_all: true
  max_depth: 4
tags:
  - 信息的概念
  - 信息论的研究内容
categories:
  - - Josh 的学习笔记
    - 信息论
abbrlink: 71ccf914
date: 2021-11-27 19:20:36
---

# 信息的概念

## 信息的定义

1. Hartly 对信息的定义：信息是选择的自由度。

2. Wiener 对信息的定义：

   1. 信息既不是物质又不是能量，信息就是信息。表明了信息是独立于物质和能量之外存在于客观世界的第三要素。
   2. 信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。

3. Shannon 对信息的定义：信息是事物运动状态或存在方式的**不确定性**的描述。

## 信息、消息和信号的区别

1. 信号：是信息的物理表达层，是三个层次中最具体的层次。
2. 消息(或符号)：是信息的数学表达层，可以定量地加以描述，它是具体物理信号的进一步数学抽象。可分为离散(数字)消息和连续(模拟)消息。
3. 信息：是指各个事物运动的状态及状态变化的方式，是抽象的意识或知识，是三个层次中最抽象的层次。

> 信号是消息的载体，消息是信息的载体。

<!-- more -->

# 信息论研究的对象、目的和内容

## 研究对象

应用概率论、随机过程、数理统计等方法来研究信息的传输、提取和处理系统中的一般规律。

<div align="center">
  <img src="../images/post/2021-11-27-josh-toi-part-1/2021-11-27-josh-toi-part-1-010-SystemModel.png" width=600px alt="图1-1 信息传输系统的模型"/>
</div>

## 研究目的

提高信息系统的**可靠性**、**有效性**和**安全性**以便达到系统最优化。

## 研究内容

1. 狭义信息论(Shannon 信息论)：主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。Shannon 研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。

   > Shannon 信息论的缺陷
   >
   > 1. Shannon 定义信息的出发点是假定事物的状态可以用一个以经典集合论为基础的概率模型来描述，对实际存在的某些事物的运动状态要寻找一个合适的概率模型往往是非常困难的，并且这一模型不一定存在。
   > 2. Shannon 定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素，这就与实际情况不完全一致。

2. 一般信息论：主要是研究信息传输和处理问题。除了 Shannon 基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。重点研究接收端。
3. 广义信息论 $^*$。

# 信息论发展简史与信息科学$^*$