信息论与编码

一、背景

教材：信息论与编码 第三版 曹雪虹 张宗橙

二、内容

• 信息的定义
  • 通信系统中的信息、信号和消息
  • 香农信息的概念

1-1 通信系统中的信息、信号和消息

1）点对点通信系统模型

通信的基本问题：在⼀点精确或近似地恢复另⼀点所选择的信息；

通信的⽬的：消除不确定性，获得信息。

2）信息、信号、消息

消息：由人的感觉系统感知；消息包含信息，并作为信息的载体存在，在抽象的意义下是非物理性的；
信号：适合作为信道传输的信息类型；信号传递信息，并作为信息的主要载体存在，在技术上具备测量能力、能够直观展示以及能够详细描述的能力。

1-2 香农信息的概念

1）香农信息的定义

香农信息是指描述事物变化规律或存在形式的不确定性。1. 在接收之前的状态中包含着未知性和潜在的不确定因素；2. 经过通信系统处理后，在接收端能够获得较为确定的信息；因此，在传递过程中实现了对原始不确定性的减少或部分减少，并最终帮助接收端获得了清晰的信息。

2）不确定性（信息量）的定性和定量描述

定性描述 是指事先猜测某随机事件是否发生的难易程度；
1.⼀夜暴富——概率极低，难猜到——如果发生，获得的信息量很大；
2.学信息论会有⼀定困难——概率极高，好猜——信息量较小；
3.信息论要用到数学——必然事件，不用猜——信息量为0。
定量描述 是指随机事件发生所提供的信息量；
不确定性的大小可以表示为随机事件概率的函数： I( xi) = log 1 / p( xi) = − log p(xi)
1.不可能事件概率为0，信息量为无穷大
2.必然事件概率为1，信息量为0
3.随机事件概率和自信息成负相关

• 信息论的研究对象与目的
  • 进⼀步完善的通信系统模型
  • 信息论的研究目的

2-1 进一步完善的通信系统模型

1）各部分的定义

通信的本质：从形式上看是发送消息 ，从内容上看是传递信息 ；
通信的目标在于消除或降低不确定性，并获取所需的信息；
信源是产生消息以及消息序列的来源；
编码器的作用是将消息转换为适合信道传输的形式；
而真正的目标则是通过这些步骤实现可靠无失的信息传递；
这里的关键在于确保每个环节都能高效可靠地工作；
整个系统的核心就是确保每个环节都协调一致地运行起来，
从而保证最终的信息能够准确无误地到达接收端。

2）编码器的概念和作用

编码器的作用是将信息转换为适合在信道上传输的形式；
信源编码器通过去除冗余信息来提高通信效率——为了实现高效的数据传输，在设计信源编码时通常会采用压缩技术等方法以提高传输速率；
信道编码器通过添加冗余来确保数据传输的稳定性——为了确保数据传输的准确性，在设计信道编码时通常会采用纠错码等技术以降低误码率；
调制器的作用是将信号转换为适合特定信道使用的形态

2-2 信息论的研究目的

探索信息传输中的共性规律;
信息论探讨通信系统的全局特性而非局部特征;
实现在有干扰情况下最佳传送与准确定义或近似还原信息;
提升其有效度（可靠性）及其安全性;
深入研究其理论极限与潜力，并致力于构建最优的信息传输系统。

• 概率论知识回顾
  • 用矩阵表示概率分布
  • 常用概率公式

3-1 利用矩阵表示概率分布

1）「一维概率分布」

2）「联合概率分布」

依据联合分布矩阵可以写出边缘分布矩阵 Px ， P ；

3）「条件概率分布」

矩阵每行的条件概率之和恒为 1 （每⼀行的条件要相同）

4）条件概率分布 、联合概率分布和边缘概率分布的关系

基于随机变量 X 的marginal distribution以及其在条件概率分布下的情况（即给定_X_时_Y_的conditional probability distribution），我们可以推导出最终结果_Y_的marginal distribution。

用矩阵的形式，可表示为 Py = Px P y |x ，同理可推得 Px = Py P x |y 。

「全概率公式」

3-2 常用概率公式