信息论的重要人物概述

前言信息论是通信的数学理论应用近代数理统计方法研究信息的传输、存储与处理它是随着通信技术的发展而形成和发展起来的一门新兴的交叉学科。推动这一学科发展的重要人物如克劳德.艾尔.伍德香农马尔可夫哈利·奈奎斯特戴维·哈夫曼等人物功不可没。一、重要理论奠基人1、克劳德·艾尔伍德·香农——信息论之父1人物简介克劳德·艾尔伍德·香农Claude Elwood Shannon1916–2001美国数学家信息论之父。1948年香龙在Bell system technical Journal上发表了划时代论文《通信的数学理论》宣告了一门崭新的学科信息论的诞生。1949年香农又在该杂志上发表了另一篇影响深远的论文《噪声下的通信》。2主要成就①定义信息熵实现对信息不确定性的数学量化②提出香农三大定理无失真信源编码定理、信道编码定理、限失真信源编码定理③推导出信道容量极限后续所有编码研究目标都是逼近香农极限。④在《通信的数学理论》《噪声下的通信》这两篇论文中香浓阐明了通信的基本问题给出了通信系统的模型提出了信息量的数学表达式并解决了信道容量信源统计特性信源-编码和信道编码等一系列基本问题。这两篇论文成为了信息论的奠基性著作。2、马尔可夫1人物简介安德雷·安德耶维齐·马尔可夫Andrey Andreyevich Markov1856–1922是19世纪末至20世纪初俄国顶尖数学家出生于1856年毕业于圣彼得堡大学师从著名数学家切比雪夫长期担任圣彼得堡大学教授。他一生深耕概率论、数论、随机过程、极限理论是近代概率统计最重要的奠基人之一。2主要成就①创立了马尔可夫链Markov Chain提出著名的马尔可夫性并阐明了马尔可夫性的实质 概率分布与最近的历史时刻有关而与再早的历史时刻无关。M阶马尔可夫链的概率分布只与最近的m个历史时刻有关而与再早的历史时刻无关。这是人类第一次建立简单、可计算、可建模的有记忆随机模型是现代所有序列建模的数学根基。②拓展大数定律、中心极限定理。以往概率定理只适用于独立随机变量马尔可夫成功将其推广到弱相关随机变量序列完善了概率论极限理论体系让概率数学从理想模型走向真实场景。二、推动先驱1、哈利·奈奎斯特——信息论的先驱1人物简介①哈里·奈奎斯特Harry Nyquist通信领域先驱通信采样、带宽理论的先行者早在香农之前就研究信道带宽与信号传输速率。2重要成就奈奎斯特速率给出无失真码元传输的带宽限制指出带宽会限制电报信号的最高传输速度为后面香农信道容量公式埋下伏笔。2、哈夫曼1人物简介哈夫曼David A. Huffman提出了哈夫曼编码1952年哈夫曼发表经典论文《A Method for the Construction of Minimum‑Redundancy Codes一种构造最小冗余编码的方法》直接超越导师范诺和香农之前提出的香农‑范诺编码方案。哈夫曼是连接信息论理论和工程实现非常关键的一位学者。​2主要成就①提出了哈夫曼编码最经典的最优前缀码根据符号出现概率分配码字概率大符号用更短码字实现无损压缩。②香农建立了信息熵、信源编码的理论极限而哈夫曼给出了工程上可落地、能达到最优的实现算法把香农抽象的理论极限真正落地为全世界广泛使用的数据压缩技术。回顾信息论的发展历程它并非由某一位科学家独立完成的成果。马尔可夫、奈奎斯特等先驱提前搭建起随机过程、带宽极限的理论地基香农以划时代的思想用信息熵、编码定理建立起整个学科的理论框架划定通信系统的理论极限而后哈夫曼、汉明、维特比等研究者分别从信源压缩、信道纠错两个维度持续深耕把香农提出的理论边界转化为可以落地实现的工程算法。正是一代代学者前赴后继的探索才让原本抽象的信息理论走进图像、音频、移动通信等无数现代技术之中持续推动整个数字通信世界向前发展。