编码概念 - 信息与熵

背景

信息与熵是信息理论中的两个核心概念，在20世纪中期克劳德·香农（Claude Shannon）奠定了其理论基础。它们主要用来衡量和分析信息传递、存储以及处理过程中的效率与可靠性。

信息（Information）

信息是一个用来衡量某些不确定性的减少的基本概念,它用于量化事件或消息的性质。
通常使用信息论中的基本单位"比特"(bit)来量化信息量。
每个比特代表一个二进制选择的结果(如0或1)。
当一个事件的结果完全确定时,在传递该事件相关信息时不会获得新的信息。
然而,在一个特定结果不常见且具有高度不确定性的场景下,在传递相关信息时会增加其不确定性。
也就是说,当一个特定结果出现的概率越低,P(x)值越小,那么其对应的信息量I(x)就会越大。
其中I(x)表示在发生某件事情x时所获得的信息量;P(x)表示发生某件事情x的概率。
这个公式的含义是:当某个特定结果出现的概率越低,P(x)值越小,那么其对应的信息量I(x)就会越大。

熵（Entropy）

熵量化了一个系统或信源中的不确定性水平，在信息论框架下，则用于衡量其输出的信息平均携带量随着系统的或信源熵值增加，则其不确定性程度亦随之提升而通常用符号H表示其计算公式如下：
H(X)=−∑xP(x)log₂(P(x))
其中,H(X)代表了信源X所具有的熵,P(x)则是指该信源产生事件x的概率.这个指标的单位一般采用比特作为度量单位

熵是衡量信息平均数量的指标；它揭示了系统所包含的信息量及其不确定性水平。其熵达到最大值时, 其不确定性最高；而当系统达到零熵状态时, 此时系统的不确定性完全消失.

信息论的基本概念包括信息与熵。这些理论框架在通信技术、数据压缩方法以及密码学等多个领域得到了广泛应用。通过这些理论框架，我们可以更深入地理解并量化信息传递与处理机制，并掌握如何最有效地利用这些资源。

log2(P(x))有什么含义?

在数学表达式中，
\log_2(P(x)) 其中 \log_2 表示以 2 为底的对数运算，
而 P(x) 则代表事件 x 发生的概率值。
\log_2(P(x)) 的意义即为此事件概率值的对数值，
其本质则反映了该事件所包含的信息量度量结果。
这个数值指标主要用于评估
事件 x 所携带的信息容量大小。

具体来说：

当事件x发生的概率P(x)趋近于1时，\log_2 P(x)的数值趋近于零。这表明该事件属于大概率范畴且包含的信息量极低。这是因为我们几乎可以确信该事件必然发生。另一方面，在P(x)趋近于零的情况下（即x为不可能性），\log_2 P(x)的结果会趋向负无穷大。此时该结果反映了x作为不可能性所蕴含的巨大信息容量——因为在这种情况下我们的认知存在极大不确定性。进一步而言，在信息论框架下\log_2 P(x)被定义为一个随机变量x的信息熵（单位为bit）。这一指标精确量化了x所携带的信息内容：具体而言，在高概率情况下该指标数值较低而在低概率情况下则较高——这正是信息论中关于不确定性和可预测性的核心观点。