【信息论基础第四讲】信息的流动——平均互信息及其性质

一、平均互信息与互信息

1、互信息

互信息量表示接收到消息yj后，获得关于事件xi的信息量。

2、 从熵的角度来定义平均互信息量：

在信息传递过程中，在接收端计算的不确定性（即系统不确定性）从H(X)降低到了H(X|Y)；这一过程不仅降低了系统的不确定性，并且成功地将信息传递给了接收端；具体来说，在这一过程中, 传递的信息量直接来自于通过通信渠道传输的数据；由此可知，在通信系统中计算平均自信息时，默认假设通信渠道不会引入额外的干扰。

3、从数学表达式角度定义平均互信息量：

4、从互信息的角度定义平均互信息量

平均互信息量等于互信息的期望值。特别注意小写字母xy代表的是单个样本的互信息值；而大写字母XY则表示基于整个数据集计算得到的平均互信息量。

5、易混淆符号区分

二、平均互信息性质

1、对称性：I(X;Y) = I(Y;X)

证明如下：

2、非负性：I(X;Y) ≥ 0

证明如下：

3、极值性：I(X;Y) ≤ H(X) ； I(Y;X) ≤ H(Y)

证明如下：

三、平均条件互信息和平均联合互信息

1、平均条件互信息：I(X;Y | Z)

2、平均联合互信息：I(XY;Z)

3、维拉图角度理解

四、信息处理定理

如何理解以上不等关系？

我们了解马尔科夫过程的未来状态仅受当前状态影响而不受过去的影响因此Y的状态仅受X的影响而Z的状态仅受Y的影响由此可知X与Y之间的相关性显著高于X与Z之间的相关性

导致在Z已知的情况下X的平均不确定度高于Y已知情况下X的平均不确定度；其交集程度高于H(X)与H(Z)之间

严格的数学证明如下：

五、凸性

1、凸集合（convex）

2、概率矢量

概率矢量全体构成的区域R是凸集

3、凸函数

4、熵的凸性

5、Jesen不等式

6、KT条件（KKT条件）

f(\alpha)函数的一个参数是一个概率向量\alpha，该向量中的每一个元素分别对应\alpha_1, \alpha_2, \dots, \alpha_K；当f(\alpha)函数在其所有维度上的偏导数均存在且连续时，则我们称该函数在实数域\mathbb{R}上达到极大值

满足这个结果的充要条件就是如下两个约束式子。

关于KKT条件进一步讲解和在最优化中的应用可以参考下面

https://zhuanlan.zhihu.com/p/556931657

7、平均互信息的凸性