浅谈信息熵与压缩编码
发布时间
阅读量：
阅读量
目录
- 一、什么是信息熵
- 二、压缩编码
- 三、参考资料
一、什么是信息熵
- 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
理论提出
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式
二、压缩编码
一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少
| 符号 | A | B | C | D | E |
|---|---|---|---|---|---|
| 出现次数 | 6 | 4 | 9 | 4 | 19 |
| 概率 | 6/42 | 4/42 | 9/42 | 4/42 | 19/42 |
根据信息熵计算公式可以推断出
- 采用香农-凡诺编码，压缩比为126:87
- 采用霍夫曼编码，压缩比为126:87
一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。
一张图共 1024 × 768 × 3 = 2 , 359 , 296 个字节
BMP 文件由文件头、位图信息头、颜色信息和图形数据四部分组成。
对于 24 位真彩色图像就不使用彩色板，因为位图中的 RGB 值就代表了每个像素的颜
色。
故此图片的文件头+位图信息头+颜色信息为 54 字节，再加上图形数据，就是 2 , 359 ，350字节
在计算机中验证
三、参考资料
全部评论 (0)
还没有任何评论哟~