信息论在信息可以度量的基础上对任何可靠有效传递信息的科学就是信息论一、香农信息论狭义的信息论研究信息的度量、信息的特征、信息传输速率、信道容量、干扰对信息传输的影响。广义的信息论通信的全部统计问题的研究除香农信息论外还研究信道设计、噪音理论、传输的检测和估值。二、信息的特征:在于它的不确定性任何已确定的事件不含信息接收者在收到信息之前对它的内容不知信息是新知识、新内容信息是能使认识主体对某事物的未知性和不确定性减少的有用知识信息可以产生可以消失可以被携带存储和处理信息可以被度量三、信息的概念;信息是信息论中最基础和最重要的概念信息是一个抽象概念包含在消息中消息是具体的是信息的载体信号是消息的表现形式消息是信号的具体内容四、经典信息论发展过程中的重要时间节点奈奎斯特Nyquist的贡献1924年发表论文《影响电报速度的某些因素》指出电信信号的传输速率与信道频带宽度之间存在确定的比例关系证明了信息传输速率与信道带宽成正比。1928年发表《电报传输理论的一定论题》提出了著名的奈奎斯特采样定理——如果对某一带宽的有限时间连续信号进行抽样且抽样率至少为信号最高频率的两倍就可以在接收端准确地恢复原信号。这为模拟信号与数字信号之间的转换奠定了理论基础。哈特莱Hartley的贡献1928年在论文《信息的传输》中首次提出了用对数度量信息的概念。他将消息数的对数定义为信息量即若信源有m种等概率消息则信息量为Ilogm。哈特莱的工作给了香农很大启示但他只考虑了等概率事件没有涉及概率不等的情况。阿姆斯特朗Armstrong的贡献1935年公开展示了调频FM技术并于同年发表经典论文《通过频率调制系统减少无线电信号干扰的方法》。他指出增大带宽可以使抗干扰能力加强这一发现使人们对信息、能量、带宽和干扰之间的关系有了进一步认识。五、信息量信息量 与消息出现的概率 P(x) 之间的关系为I(x) \log_a \frac{1}{P(x)} -\log_a P(x)概率越小的事件发生提供的信息量越大。公式中对数底 a 的取值直接决定了信息量的单位· a 2单位为比特bit。这是信息论中最常用、最核心的单位。· a e单位为奈特nat。在理论推导中有时会用到。· a 10单位为哈特莱Hartley也称“迪特dit”。这是为了纪念早期信息论先驱哈特莱而命名的单位。单位换算关系·1 奈特 ≈ 1.443 比特· 1 奈特 ≈ 0.434 哈特莱· 1 哈特莱 ≈ 3.322 比特· 1 哈特莱 ≈ 2.303 奈特例子设一个二进制离散信源以相等概率P1/2发送数字 0 或 1。以比特为单位计算信息量I(0) I(1) -\log_2 \frac{1}{2} \log_2 2 1 \text{ bit}所以传送等概率的二进制波形之一信息量为 1 比特。流程图六、通信系统模型信源;信息的来源称为信源可以是人、机器或者其他事物尽管信源是信息的来源但是信源并不直接输出信息信源输出的是信息的载体——消息编码器:编码器将信息变为符号或者对应的符号序列目的是提高传输有效性调制器:调制器负责将编码器输出的符号转换为适合信道传输的信号目的是提高传输效率信道:信道是信息传输的通道始于调制器终于解调器。狭义的通信系统中实际信道有架空明线电缆波导光纤和无线电波传播空间等广义的通信系统信道还可以是其他类型的传输媒介通常情况下信道中存在噪声和干扰解调器:解调器位于信道的接收端负责将信道输出信号转换为符号是调制器的逆变换译码器译码器位于信息的接收端是编码器的逆变换信宿信宿是信息的接收者即接收信息的人或物最优化:有效性:用尽可能短的时间尽可能少的设备来传送一定数量的信息可靠性:信源发出的信息经过信道传输后尽可能准确的不失真的在接收端复现保密性:信息在传输过程中要隐蔽和保护所传送的信息使得它只能被授权者所获取不能被未授权者接收和获取认证性:接收者所能判断验证消息的完整性验证信息没有被伪造和篡改流程图