信息论基础
为了记录极化码polar code的学习进程，因为目前还在学习中，可能会有不足或错误的地方。
本文聚焦于信息论基础。主要参考了B站个人账号老奇好好奇发布的优质内容。首次在破站上发现一个 Communication 视频特别走红。值得建议大家观看原视频以获取完整解读。深入浅出地展开讲解过程
本节主要归纳了基于上述视频思路的信息论相关内容，并融合了其他参考资料以提供易于理解的基础知识；其中一些图片源自该视频
信息的度量
信息可以消除事物的不确定性。
随机性越高，则所蕴含的信息总量也会随之增加。
香农公式：基于概率的随机性来评估信息含量 ，其衡量的标准就是这个不确定度。
即信息熵。
《Transmission of Information 》一文中哈特莱采用对数形式描述信息
为什么采用对数的形式描述信息？
x，y为独立不相关事件，h()表示事件发生的信息
二者同时发生的信息等于其各自发生信息的和，符合对数运算规则。
香农在该公式的基础上，为符合0、1描述世界的逻辑，将公式改为以2为底
信道容量
H(X|Y)，在信息论中将条件熵称为信道疑义度。具体而言，在已知随机变量Y的情况下（即给定Y时），系统中关于随机变量X的不确定性。其主要作用在于量化在信息传输过程中所造成的信息损失。
I(X; Y) 表示了解随机变量 X 关于 Y 的不确定性降低的程度, 同样地, Y 能携带的信息
在传输过程中所失信息减少时，其互信息值会越高；而理论上的最大互信息则被称为信道容量（Channel Capacity），其计算公式为C = maxI(X;Y)。
香农极限
有噪信道编码定理（香农第二定理、香农极限）表明：通过正确编码，在该信道上以速率C可实现信息传输的同时，其错误率或疑义度均可降至令人满意的水平。这一结论仅适用于所有低于或等于C的传输速率。
在离散无记忆通信信道中，在达到信道容量C之前的所有码率均可达。详细而言，在满足R < C的情况下存在一个对应的编码方案能够实现准确传输信息
码序列，它的最大误差概率为
。反之，任何满足
的码序列
必有 R<C，其中
所述内容可简要总结为：仅当信息传输速率低于信道容量时，在通信系统中存在一类特殊的编码方案, 使得信息传输过程中的错误概率能够降至任意低水平.
二进制离散无记忆信道信道容量定义如下：
其中 X∈{0,1} 为输入信号集合， Y 为输出信号 ,W(y|x) 为信道转移概率