信息论与编码_系统论、控制论和信息论简介
系统科学理论、控制理论与信息理论是20世纪40年代初分别创立并迅速发展起来的三大学科分支，在该领域内久负盛名，并统一称为"老三论"。学术界将其英文名称首字母作为代称使用，并简称为SCI论。
耗散结构学说、协同创新学说与突变演化学说
一般系统论旨在探讨系统普遍的结构、功能和运行规律；它关注不同领域系统共有的本质特征；通过数学手段量化其功能特性；寻找能够普遍适用于各领域系统的理论基础与方法模型；并且探讨这些原理、原则与模型之间的内在联系；这是一门兼具逻辑学与数学方法的科学学科。
控制论是探讨动物（涵盖人类）及机器内部的控制和通讯的基本法则的学科,主要关注系统运行中的数学关联。
控制论是探讨生物界（涵盖人类）及机器内部的控制和通讯的基本法则的学科,主要关注系统运行中的数学关联。
信息论作为一门主要研究基于概率论与数理统计的方法来探讨信息传输效率及其相关问题的应用数学学科分支
探讨系统的结构特点行为动态等原则规律以及各要素间的联系并用数学方法进行描述成为现代学科的重要分支之一——系统论。其核心观点在于将所研究的对象视为一个完整的有机体通过系统的角度来进行分析与研究。系统的任务即在于深入剖析作为一个整体其内部要素之间的相互作用机制从而揭示其本质特征内在规律以及运行机制最终实现最优化的目标。
系统的思维历史悠久而丰富，在被视为一门系统的科学理论中被普遍认为是由美国籍奥地利科学家Ludwig von Bertalanffy（L.Von.Bertalanffy）创建的。
他于1932年发布"抗体系统论"一文，在此阐述了系统的理论框架。随后于1937年提出了"一般系统论"的基本原理并奠定了这门科学的基础性研究工作。然而他所著的《关于一般系统论》一书直到20世纪40年代末，在美国大学课堂上讲解"一般系统论"之前的一段时间内仍未能正式出版发行期间其理论思想逐渐被外界忽视直至20世纪60年代中期随着莱昂·贝塔朗菲在英国剑桥大学出版其核心著作《GeneralSystemTheory;Foundations,Development, Applications》而真正确立这一学科学术地位的关键在于这部权威著作的影响
系统一词起源于古希腊语其意为整合各要素 today scholars conduct multifaceted investigations into systems from various theoretical perspectives. Over time numerous definitions of system have been proposed reflecting diverse understandings of its nature. For instance some scholars define a system as an organized and coherent ensemble while others emphasize the interrelatedness of its components. These differing perspectives highlight the complexity inherent in defining a concept as fundamental yet multifaceted.
系统论的8大基本原理
1，系统的整体性原理
2，系统层次性原理
3，系统开放性原理
4，系统的目的性原理
5，系统突变性原理
6，系统稳定性原理
7，系统自组织原理
8，系统相似性原理
控制论
自1948年起, 诺伯特·维纳发表了著名的《控制论——关于在动物和机器中控制和通讯的科学》一书, 自此之后, 控制论的思想与方法已深入到自然科学和社会科学的各个领域. 维纳将控制论视为一门研究机器、生命体及其社会中普遍存在的控制与通信规律的学科. 他特别创造"Cybernetics"这个词来指代这一学科领域. 关于"控制论"这个词, 其起源于古希腊文"mberuhhtz", 原本意为'舵工术', 即操作船舵的方法与技术本质. 在柏拉图(古希腊哲学家)的作品里, 这个词常被用来象征管理的艺术.
控制论的发展过程大致分为三个阶段：
20世纪50年代末期以前为第一阶段，称为经典控制论阶段；
50年代末期至70年代初期为第二阶段，称为现代控制论阶段；
70年代初期至现在为第三阶段，称为大系统理论阶段。
信息论
信息论是一种基于概率论与数理统计的方法来研究信息传递、信息熵、通信系统以及数据传输等问题的应用型数学学科。广义上的通信系统不仅包括常规意义上的设备组合，还涵盖了各种信息传递所需的完整系统配置。信息论属于理论科学领域，其研究对象及其适用范围应当有明确的规定。然而自信息论诞生以来直至今日，在人们的认知层面始终存在不同的解读与理解。
我们从统计学的角度认为，信息论将信息的传递视为一种统计现象并提供了一种评估通信信道容量的技术手段。构成了其核心研究领域之一的信息传输与数据压缩，并涉及两大核心方向。通过这些理论框架实现了有机统一。
香农以其名字命名的信息论之父地位久负盛名。该论文常被视为现代信息论研究的起点，并建立在哈里·奈奎斯特和拉尔夫·哈特利早期工作的基础之上。在其论文中，香农提出了关于信息熵的基本概念：
该方法可用于计算传递经二进制编码后的原始信息所需的信息传输速率。
熵用于衡量消息中的信息内容，并排除了由消息内部结构带来的因素如语言冗余和字母、词使用的频率等统计特征。
信息论中关于熵的概念与物理学科中热力学entropy之间存在密切关联。玻耳兹曼和吉布斯在统计学领域完成了大量关于entropy的研究工作。信息论中的这一概念正是源自物理学家玻耳兹曼和吉布斯的研究成果。
互信息(Mutual Information)是一种重要的信息度量标准,它是衡量两个事件集合之间相关性的方法.具体而言,对于两个事件X和Y来说,其互信息定义为:
其中
是联合熵(Joint Entropy)，其定义为：
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
信息论经历了长期通讯实践的发展而形成一门学科，在此基础上被用来研究信息的高效处理与稳定传递的一般规律。
E.C.切略撰写了关于早期信息理论史的重要著作。该研究始于石刻象形文字时期，并经历了中世纪的启蒙语言学研究。直至17世纪初吉尔伯特及其同事在电报通信领域做出了开创性贡献。
在20世纪20年代初,著名科学家奈奎斯特(H.Nyquist)与哈特莱(L.V.R.Hartley)率先对通信系统的承载能力展开深入研究,并致力于量化评估信道容量.随着这一系列基础理论的提出与完善,在本世纪40年代末期,现代信息论逐渐形成并得以广泛应用.
1948年克劳德·香农(Claude Shannon)出版的文章《通信中的数学理论》是全球首个建立通信过程数学模型的文章。该文章与同一年发布的另一篇文章共同奠定了现代信息论的基础。
由于现代通讯技术的迅速发展以及与其他学科间的深度融合，信息论的研究逐渐突破了香农最初局限于通信系统数学理论的局限性，并逐步演变成如今被统称为信息科学的巨大体系。
信息的定义域
信息 是确定性的增加 ----逆Shannon信息定义；
信息 是物质、能量、信息的标示 ----Wiener信息定义的逆;
信息是事物及其属性标识的集合 。
研究范围
信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
狭义信息论是一门以数理统计为基础的方法用来分析和处理信息传递的学科。它探讨的是存在于通信系统和控制系统中的信息传递的本质规律及其共性特征，并致力于优化各信息传输系统的效能与稳定性的通讯理论。
一般信息论不仅致力于探讨通讯问题，并且涵盖噪声理论、信号滤波与预测、调制与信息处理等多个相关领域的问题
广义信息论不仅涵盖了狭义信息论和一般性信息论的相关问题，并且拓展至所有与信息处理相关的学科领域,例如心理学、语言学、神经科学以及语义学等
应用范围
编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学(政治沟通)