第一章 绪论
学习《信息论基础》第一章绪论时，认识了信息论之父，了解了信息论是什么？知道了三个“信”的基础概念，还学习了通信系统模型等很多关于信息论的知识。
信息论之父是克劳德·艾尔伍德·香农，美国数学家，信息论创始人，他发表的《通信的数学理论》，宣告了信息论的诞生；在1949年，发表了《噪声下的通信》。在这两篇论文里，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码和信道编码等一系列基本问题。这两篇论文成为信息论的奠基性著作。
信息论，本质是用数学描述通信模型，核心要解决的问题，就是设计方案实现信息传输，保证传输的可靠性与有效性。
有效性依靠信源编码，尽可能压缩信息；可靠性依靠信道编码，对抗传输过程里的噪声干扰。为了解决在噪声信道中有效传输信息的问题，香农第一次提出了信息熵的概念。信息是信息论中最基本和最重要的概念，同时也是一个既复杂又抽象的概念。
信息：是个抽象的概念，包含在消息之中；
消息：是具体的，是信息的载体，可携带传递；
信号：消息的表现形式，承载信号里的具体内容。
简要介绍信息论发展过程中的重要时间节点：
1924年，奈奎斯特（Nyquist）开始研究电报信号传输中脉冲速率与信道带宽的关系。
1928年，奈奎斯特发表论文建立了限带信号的采样定理。
1935年，阿姆斯特朗（Armstrong）提出，增大带宽可以加强通信系统的抗干扰能力。
1948年，香农受到哈特莱研究工作的启发，进一步注意到消息的信息量不仅与可能值个数有关，还与消息本身的不确定性有关。
1949年，香农发表论文《噪声下的通信》，指出通信系统的核心问题是在噪声环境中如何有效而可靠地传递信息，同时指出实现这一目标的主要方法是编码。
1959年，香农发表论文《保真度准则下的离散信源编码定理》，系统地提出了信息率失真理论和限失真信源编码定理。
由上，提出了香农信息的定义：信息是对事物远动状态或者存在方式的不确定性的描述。
而后，学习了通信系统模型，如图所示：
t通信系统模型的七个部分：
- 信源：信息的来源称为信源，可以是人、机器或其他事物；产生消息，输出消息。
- 编码器：把消息转换成符号或符号序列，目的是提高传输有效性。
- 调制器：将编码器输出的符号转换为适合信道传输的信号，目的是提高传输效率，实现远距离传输。如果要进行远距离传输，还可进行载波调制。
- 信道：信道是信息传输的通道，始于调制器终于解调器，是信号传输媒介，分为有线（光纤、电缆、双绞线）、无线；传输过程会叠加噪声。
- 解调器：解调器位于信息的接收端，负责将信道输出信号转换为符号，是调制器的逆变换。
- 译码器：译码器位于信息的接收端，是编码器的逆变换，把符号还原成消息。
- 信宿：信宿是信息的接收者，即接收消息的人或物。