信息熵--信息的度量和作用
发布时间
阅读量：
阅读量
一直对信息的作用感到不够小心（谨慎），阅读《数学之美》中关于信息解释的部分让我豁然开朗（有所顿悟）。尽管篇幅简短但让我对信息的作用有了整体认识（总体感受）。
数学中的熵
数学中的熵用来衡量事件发生的不确定性（uncertainty）。事件发生可能性越不确定我们需要越高的熵值来准确判断其发生概率（probability）。因此数学中的熵越大表示该事件所携带的信息量也越大。
由于事件发生的可能性越低其不确定性越高
假设有32支队伍，并且无法观看比赛以了解结果。如果假设每支队伍夺冠的概率相同，则为了确定冠军，我们需要进行5次查询（即计算log₂32=5）。然而，在实际情况中各队夺冠概率不均，则确定冠军所需的查询次数将少于5次。
所以香浓给出了信息熵的公式：对于任意一个随机变量X，
信息的作用—减少不一致性和模糊性
例如，在搜索引擎中进行查询时，我们会输入一组关键词并获得许多包含这些关键词的网页资源。这些关键词被视为重要的信息来源，在庞大的上亿网页中被筛选出来的一部分内容，并从而减少了部分不确定性。如果我们想要进一步消除不确定性并获得更精确的搜索结果该怎么办？这就需要获取更多的信息资源，并不仅仅局限于对现有信息进行一些简单的数学公式运算。举个例子来说，在自然语言处理领域中，我们通常使用一元模型统计词频、二元模型或更高阶的模型根据上下文信息来确定某个词语的意义。
当然这里我们说的获取更多的信息指的是相关信息，不然也没什么用。
我们如何确定信息间的关联性或者说如何量化这种关联度呢？
其本质是：在已知y的情况下带来的信息量其实是描述了在已知y的前提下如何消除x的不确定性所获得的信息度。
全部评论 (0)
还没有任何评论哟~