第一章 绪论学习《信息论基础》第一章绪论时认识了信息论之父了解了信息论是什么知道了三个“信”的基础概念还学习了通信系统模型等很多关于信息论的知识。信息论之父是克劳德·艾尔伍德·香农美国数学家信息论创始人他发表的《通信的数学理论》宣告了信息论的诞生在1949年发表了《噪声下的通信》。在这两篇论文里香农阐明了通信的基本问题给出了通信系统的模型提出了信息量的数学表达式并解决了信道容量、信源统计特性、信源编码和信道编码等一系列基本问题。这两篇论文成为信息论的奠基性著作。信息论本质是用数学描述通信模型核心要解决的问题就是设计方案实现信息传输保证传输的可靠性与有效性。有效性依靠信源编码尽可能压缩信息可靠性依靠信道编码对抗传输过程里的噪声干扰。为了解决在噪声信道中有效传输信息的问题香农第一次提出了信息熵的概念。信息是信息论中最基本和最重要的概念同时也是一个既复杂又抽象的概念。信息是个抽象的概念包含在消息之中消息是具体的是信息的载体可携带传递信号消息的表现形式承载信号里的具体内容。简要介绍信息论发展过程中的重要时间节点1924年奈奎斯特Nyquist开始研究电报信号传输中脉冲速率与信道带宽的关系。1928年奈奎斯特发表论文建立了限带信号的采样定理。1935年阿姆斯特朗Armstrong提出增大带宽可以加强通信系统的抗干扰能力。1948年香农受到哈特莱研究工作的启发进一步注意到消息的信息量不仅与可能值个数有关还与消息本身的不确定性有关。1949年香农发表论文《噪声下的通信》指出通信系统的核心问题是在噪声环境中如何有效而可靠地传递信息同时指出实现这一目标的主要方法是编码。1959年香农发表论文《保真度准则下的离散信源编码定理》系统地提出了信息率失真理论和限失真信源编码定理。由上提出了香农信息的定义信息是对事物远动状态或者存在方式的不确定性的描述。而后学习了通信系统模型如图所示t通信系统模型的七个部分信源信息的来源称为信源可以是人、机器或其他事物产生消息输出消息。编码器把消息转换成符号或符号序列目的是提高传输有效性。调制器将编码器输出的符号转换为适合信道传输的信号目的是提高传输效率实现远距离传输。如果要进行远距离传输还可进行载波调制。信道信道是信息传输的通道始于调制器终于解调器是信号传输媒介分为有线光纤、电缆、双绞线、无线传输过程会叠加噪声。解调器解调器位于信息的接收端负责将信道输出信号转换为符号是调制器的逆变换。译码器译码器位于信息的接收端是编码器的逆变换把符号还原成消息。信宿信宿是信息的接收者即接收消息的人或物。