信息论与编码曹雪虹第三版学习第二章总结
发布时间
阅读量：
阅读量
信源 （连续 离散 有记忆 无记忆）
马尔科夫信源（齐次）
若信源的记忆容量为m+1个单位，则在当前时刻所发出来的符号与其之前的m个符号之间具有关联性；然而与其他更早发出的符号之间则不存在这种关联关系。
以下默认为离散信源
信息量（自，联合，条件，彼此关系）
自信息量：
联合自信息量：
条件自信息量：
相互之间的关系：
熵（条件，联合，符号，相对）
信息熵（平均信息量）：
条件熵：
联合熵：
彼此关系：
总结：
互信息 （平均，与信息熵条件熵的关系，联合，条件互信息量）
互信息：H(X)－H(X/Y)= I(X;Y)= I(Y;X)=H(Y)－H(Y/X)
彼此关系：
平均互信息量性质
性质不拓展
熵的性质
最大熵（总结）
无约束条件的最大熵不存在
限峰功率最大熵
限平均功率最大熵
冗余度
ppt总结，便于复习。
ppt链接
链接：https://pan.baidu.com/s/1r7d3-LwCAKOZwZHgYDmDkg
提取码：1tjc
全部评论 (0)
还没有任何评论哟~