1.2.2　信息论的建立与发展

信息论的产生以1948年香农的奠基性论文《通信的数学理论》为起点，迄今已有70多年的历史。在这70多年中，电子、通信与计算机技术的产业与市场经历了空前的、大规模的发展，信息技术产品进入千家万户，成为人们工作、学习与生活中不可缺少的组成部分。可以毫不夸张地说，信息论在这场空前的技术革命中起到了理论基础、思想先导与技术关键的作用。现代的快速通信、多媒体与网络技术、大数据处理无不受益于信息与编码理论及其相关学科（如信号处理等）的发展，这些发展推动了信息技术的革命，也丰富了信息论的内容。

自1948年香农理论产生以后，信息论大体经历了理论的确立与发展、理论的应用与近代发展两个阶段。下面就这些阶段的主要内容与特点逐一进行介绍。

1．香农信息论的确立期

人们把1948年到20世纪60年代这一时期称为信息论的确立期，其主要特点是对香农理论的研究和说明，包括通信系统的数学模型与基本问题的说明以及对信息量、香农熵的来源、意义与作用的讨论；还包括对通信基本问题的讨论，对信源、信道编码问题的模型、本质问题与意义的讨论，信源、信道编码的编码定理及其证明，以及信源、信道编码的实现与应用问题等。

这一阶段的主要成果是对以上问题给出了严格的数学描述与论证。从信息的度量到通信模型、从编码问题的提出到主要编码定理的证明等，都是在严格的数学推导中完成的。同时，一系列专著的完成也标志着香农信息论的确立，如A.Feinstein（1954）、R.G.Gallager（1968）和J.Wolfowitz（1978）等的重要论著，这些著作基本上完成了对香农理论的阐述，在理论上解答了通信中所提出的问题。同期，国内学者也进行了大量的、重要的研究工作，为信息论的早期发展做出了重要贡献。

在香农信息论发展的同时，代数编码理论也得到迅速发展。利用群、环、域与线性子空间理论可将码赋予一定的代数结构，这种结构可使通信信号具有纠错与检错的能力。代数码方面出现了重要经典著作，包括W.W.Peterson（1961）、R.M.Fano（1961）和Wozencraft-Reiffen（1961）等的著作。

2．香农信息论的发展期

20世纪70年代到80年代，信息论处于理论发展时期。由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大，这一时期发展的主要内容在率失真理论与多用户信息论（或称网络信息论）方面。1959年，香农发表《保真度准则下的离散信源编码定理》，首次提出了率失真函数及率失真信源编码定理。率失真编码理论实际上是一种在允许失真条件下的信源编码理论，该理论在20世纪80年代和90年代成为有损数据压缩技术的理论基础。另外，多用户信息论的最早思路也由香农提出，在1961年，香农发表了一篇学术论文《双路通信信道》，开拓了多用户信息论的研究。多用户信息论在20世纪70年代和80年代得到迅速发展，成为这一时期信息论研究的一个主流课题，例如，20世纪70年代，R.Ahlswede和Liao找出了多元接入信道的信道容量区域，接着，J.K.Wolf和D.Slepian将它推广到具有公共信息的多元接入信道中；另外，T.M.Cover提出了广播信道，P.Bergmans和R.G.Gallager等分别研究了广播信道的容量区域问题，指出只有退化广播信道的容量区域可以求解。1979年，A.E.Gamal找到了退化中继信道的容量区域。此后，各种不同类型的多用户信源、信道模型被提出，许多相关的编码定理也得以证明。当然，这些模型与当时处于热点的微波与卫星通信密切相关。