离散信息的度量知识点总结离散信息的度量是信息论最重要的基础章节主要以概率论为工具用来描述随机现象的不确定程度为后续信源熵、信息熵、互信息、信道容量等核心内容提供理论支撑。本章所有内容围绕随机事件的概率规律、随机变量的数字特征展开是理解信息不确定性、量化信息大小的必备知识。首先是随机试验、样本空间与随机事件。生活中所有结果不确定、但所有可能情况已知、且可以重复进行的试验都称为随机试验。随机试验所有可能出现的结果构成的整体集合叫做样本空间。样本空间中的每一个单一结果称为样本点。随机事件就是样本空间的任意一个子集当试验最终出现的结果落在该子集范围内就代表这个事件发生。信息论中信源不断输出符号的过程本质就是持续发生的随机试验符号的出现属于随机事件因此概率分析是信息度量的根本依据。其次是概率的公理化体系。概率是用来描述随机事件发生可能性大小的数值所有概率计算都建立在三条公理之上。第一是非负性任何事件发生的概率都大于等于零、小于等于一。第二是归一性所有可能结果合起来必然发生因此整个样本空间的总概率等于一。第三是可列可加性当多个事件两两互斥、不可能同时发生时多个事件合并发生的总概率等于各个事件概率的相加。三条公理保证了概率体系严谨统一是后续所有公式推导的基础。本章重点学习了条件概率、联合概率和事件独立的概念。普通概率是在没有任何附加条件下事件发生的可能性而条件概率是已知某一事件已经发生的前提下重新计算另一事件发生的概率。引入条件概率后样本空间范围会被压缩判断依据更加精准。联合概率指两个事件同时发生的概率通过联合概率和条件概率可以互相推导形成概率乘法关系。若两个事件相互独立说明一个事件的发生不会对另一个事件产生任何影响彼此概率互不干扰这是信源符号独立输出、信道传输独立误差的理论前提。完备事件组、全概率公式与贝叶斯公式是本章的核心重难点。完备事件组指一组能够完整划分整个样本空间的事件这些事件两两互斥、互不重叠合并后覆盖所有可能情况相当于把所有成因完整分类没有遗漏、没有重复。全概率公式的核心思想是由因求果。当一个最终结果可以由多种不同原因触发时可以分别计算每一种原因出现的概率再结合每种原因导致结果发生的可能性累加得到结果整体的总概率。它适用于已知各类前置条件推算最终事件整体发生概率的场景。贝叶斯公式与全概率公式相反核心思想是由果溯因。当已经观察到最终结果发生想要反向判断最有可能的成因时就需要使用贝叶斯公式。其中未观测结果之前已知的原因概率称为先验概率观测结果之后更新得到的概率称为后验概率。贝叶斯思想是通信译码、信号判断、误差修正的核心原理在信息传输中用于根据接收信号反推发送信号。随机变量是将随机试验数字化的重要工具。以往通过集合描述事件表达繁琐引入随机变量后可以把每一个试验结果一一对应为具体数值实现随机现象的量化表达。根据取值特点随机变量分为离散型和连续型。信息论主要研究离散随机变量其取值有限或可以逐一列举对应信源输出的离散符号是信息度量的主要研究对象。累积分布函数是描述随机变量整体分布规律的统一工具适用于所有类型随机变量。它表示随机变量取值小于等于某一数值的总概率具备四个核心特征整体数值始终单调递增、取值趋近负无穷时概率为零、取值趋近正无穷时概率为一、函数图像满足右连续特性。离散随机变量的分布函数呈现阶梯式变化能够直观体现离散符号出现的概率分布规律。数学期望是随机变量最核心的数字特征代表随机变量的统计平均值。它不是简单的算术平均而是结合每种取值出现的概率进行加权平均能够客观反映随机变量整体的平均水平和整体特征。除单一变量期望外也可以计算两个变量的联合期望用于分析多个随机信号之间的整体关联。信息论中熵、平均信息量、互信息、信道容量等全部核心概念都建立在数学期望的基础上定义和推导。总体而言本章构建了信息论的底层概率体系。从随机事件和概率公理出发掌握条件概率、联合概率、事件独立性再通过全概率正向推算、贝叶斯反向推理实现对随机不确定现象的精准分析。通过引入离散随机变量、分布函数与数学期望实现了随机信息的数字化、量化化表达。所有知识点最终目的都是为了解决同一个问题如何科学度量随机信号的不确定性大小。本章内容不仅是概率论基础更是后续学习信息熵、信源建模、信道传输分析、信息压缩编码的必备前置知识是整个离散信息理论体系的基石。