Shannon
Shannon
生平
克劳德・埃尔伍德・香农（Claude Elwood Shannon, 1916-2001）被誉为 “信息论之父”，是当今信息时代的奠基人之一。
1916 年 4 月 30 日，Shannon 出生于美国 Michigan 州的佩托斯基（Petoskey），是爱迪生（Thomas Alva Edison, 1847-1931）的远亲。他的母亲是一名语言教师以及高中的校长，他的父亲则是一名商人以及遗嘱检验法官。
年轻的 Shannon 在公立学校系统接受教育，并于 16 岁那年高中毕业。在他的童年时期，他度过了一段正常而快乐的时光，尽管当时几乎没有迹象表明他日后会展现出惊世骇俗的天才。
与他后来的生活状态相似，年幼的 Shannon 并不十分外向，但当别人主动接近他时，他总是表现得非常友好。他从小就对各种机械和电子设备表现出浓厚的兴趣，并且总是对各种设备是如何运作的充满极大的好奇心。
高中毕业后，Shannon 进入 Michigan 大学深造。1936 年，他在 Michigan 大学同时获得了电气工程和数学两个学士学位。他对这两个领域的双重兴趣贯穿了他的整个职业生涯，并成为他日后取得诸多交叉学科突破的关键。
在本科期间，Shannon 接触到了 Boolean 代数（Boolean algebra）这一数学对象，并对其产生了兴趣，为日后的研究埋下伏笔。
在大学毕业并思考下一步该做什么时，Shannon 在一个公告栏上看到了一则招聘启事，招募人员来操作布什（Vannevar Bush, 1890-1974）在 MIT 发明的微分分析仪（differential analyzer，一种早期的模拟计算机）。
Shannon 申请了这份工作，并成功被录取为 MIT 电气工程系的物理研究助理和研究生。
来到 MIT 后，Shannon 被控制微分分析仪的复杂开关电路（switching circuit）深深吸引，他开始探索使用 Boolean 代数来理解这些开关电路的可能途径。
当时他已经注意到电话交换电路与 Boolean 代数之间的类似性，即把 Boolean 代数的 “真” 与 “假” 和电路系统的 “开” 与 “关” 对应起来，并用 1 和 0 表示。
入学一年后，Shannon 于 1937 年的夏天前往 Bell 电话实验室实习。
同年秋天回到 MIT 后，Shannon 开始完善他关于如何使用 Boolean 代数来进行继电器（relay）电路的分析和综合设计的想法。
这项工作成为了他在 MIT 的硕士毕业论文以及他发表的第一篇学术论文：《继电器与开关电路的符号分析》（A Symbolic analysis of relay and switching circuits）。
该论文至今被广泛认为是开关电路领域的奠基之作，也是有史以来最重要的一篇硕士论文之一。
Harvard 大学的加德纳（Howard Gardner, 1943-）教授说，“这可能是本世纪（二十世纪）最重要、最著名的一篇硕士论文。”
Shannon 的这篇硕士论文获得了 1939 年的 Alfred Noble 奖 —— 这是由美国土木工程师学会为了纪念前主席诺贝尔（Alfred Noble, 1844-1914）而在 1929 年设立的。
在 Bush 的建议下，Shannon 开始在遗传学领域寻找他的博士研究课题。他将专业从电气工程转向了数学，并致力于为遗传学建立一个数学基础。
1940 年，他在希区柯克（Frank Lauren Hitchcock, 1875-1957）的指导下完成博士学位论文《理论遗传学的代数学》（An algebra for theoretical genetics）。在进行博士研究的同时，他也开始对通信的根本问题产生兴趣并继续在开关理论方面开展工作。
1940 年，毕业后的 Shannon 到 IAS 工作了一年，并开始认真致力于发展他那初具雏形的通信数学理论。
到了 1941 年的夏天，Shannon 回到了 Bell 实验室。受第二次世界大战影响，Shannon 的工作包括了协助开发防空火控系统、防空指挥仪以及保密系统。
同一时期，Shannon 开始涉及密码学。Shannon 敏锐地意识到，密码学中的根本问题与他正在发展的通信理论中的思想有着极其密切的联系。
在 Bell 实验室，Shannon 遇到了担任数值分析员的贝蒂（Betty）。两人于 1949 年结婚。
1943 年，英国数学家图灵（Alan Mathison Turing, 1912-1954）被派到华盛顿和美国海军交流破译德国的北大西洋潜艇舰队密码的成果，并在 Bell 实验室待了一段时间。Turing 向 Shannon 介绍了现在被称为 “通用 Turing 机” 的概念。Shannon 对此很感兴趣，因为 Turing 机的概念和 Shannon 自己的很多想法相吻合。
1945 年，Shannon 将他的密码学研究成果撰写成了机密论文《密码学的数学理论》（A mathematical theory of cryptography）；这篇论文直到 1949 年才解密并在公开文献中以《保密系统的通信理论》（Communication theory of secrecy systems）为题发表。
这篇论文为保密系统奠定了坚实的数学基础，并对现代密码学产生了巨大影响。
1948 年，经过长达八年断断续续地思考，Shannon 在《Bell 系统技术期刊》（Bell System Technical Journal）上发表了《通信的数学理论》（A mathematical theory of communication）。
在这一篇论文中，Shannon 提出熵（entropy）的概念，给出了可量化的信息的定义，推导出一系列定理。这篇论文奠定了信息论的基础，提出了一个通信系统的线性示意图模型，在当时的科技界引起了巨大的轰动。
Shannon 借用了一个极具启发性的术语 “信息（information）” 来描述被通信的事物。更重要的是，他成功地对信源和信道的 “信息” 进行了精确的量化。
这种关于信息的新概念导致了我们今天习以为常的通过发送 1 和 0 组成的信号流来传输图像、文字、声音等的想法的产生，彻底改变了人们对电信系统的理解方式和设计范式。
1949 年，Shannon 发表了《编程实现计算机下棋》（Programming a computer for playing chess），这是人工智能的一个先驱工作。
1950 年，Shannon 发明了会自我学习走迷宫的机械老鼠 “Theseus”，成为第一台人工智能装置的雏形。
1951 年，他发表了论文《一个走迷宫机器的介绍》（Presentation of a maze solving machine），这是一篇机器学习的先驱著作。
1953 年，他曾设计了 “心灵阅读（Mind Reading）” 机，可通过观察、记忆和分析对方过去所做选择的样本，试图猜测对方下一次可能选择。
Shannon 一直留在 Bell 实验室的数学研究小组工作直到 1956 年。随后，Shannon 在 MIT 做了一年的访问学者，并于 1958 年正式接受 MIT 的永久任命成为 Donner 科学教授，同时在电气工程系和数学系任职。
Shannon 在 MIT 一直工作到 1978 年。进入八十年代，Shannon 被确诊患有阿尔茨海默症（Alzheimer's disease）。他在一家私立医院度过了生命的最后几年，于 2001 年 2 月 24 日与世长辞。
除了学术研究，Shannon 爱好杂耍、骑独轮脚踏车和下棋。
Shannon 因其杰出贡献荣获诸多荣誉，其中包括 1939 年美国工程师协会颁的 Alfred Noble Prize（与 Nobel Prize 无关，由美国土木工程师学会设立）、1966 年美国国家科学奖章、1985 年音频工程协会金奖以及 1985 年京都奖。
2000 年，他被 Guglielmo Marconi 国际奖学金基金会授予 Marconi 终身成就奖，这是该基金会首次颁发此项殊荣。Shannon 被授予包括 Princeton 大学、Oxford 大学等多所大学的荣誉博士学位。
Shannon 还是包括美国国家科学院在内多个科学院、学会的成员、院士。
为了纪念 Shannon 对信息论的奠基性贡献，IEEE 信息理论协会设立了以 Shannon 命名的 Claude Elwood Shannon 奖用以表彰信息论领域里持久且深远的贡献，是通信理论领域最高奖，被誉为 “信息科学诺贝尔奖”。
1973 年的首届 Claude Elwood Shannon 奖被授予 Shannon 本人。
贡献
一、Boolean 代数与开关电路
在二十世纪三十年代，电话交换机和早期的模拟计算机正变得越来越复杂，工程师们在设计继电器电路时主要依靠经验、直觉和繁杂的试错。Shannon 意识到，这些复杂的继电器和开关系统在本质上是一种逻辑载体。在他 1938 年发表的论文《继电器与开关电路的符号分析》（A symbolic analysis of relay and switching circuits）中，Shannon 创造性地将 Boolean 代数引入了电路设计中。
在文中，Shannon 详细论述了如何利用 Boolean 代数的加法、乘法和否定运算来描述并简化复杂的电路连接。通过这种方法，工程师不再需要面对一团乱麻的物理连线图，而是可以将其转化为简洁的数学方程进行化简，然后再根据化简后的结果重新构建最高效的物理结构。
Shannon 还展示了电路如何执行基本的算术运算。这一突破直接定义现代数字计算机的运行准则，将电路设计转变为一门严谨的科学，为随后数字时代的开启奠定首块基石。
二、创立信息论框架
1948 年，Shannon 在《Bell 系统技术杂志》（Bell System Technical Journal）上分两部分发表了长篇论文《通信的数学理论》（A mathematical theory of communication）。
这部著作标志着 “信息论（information theory）” 这一全新学科的诞生，它为现代通信系统中的各个组成部分以及整体架构建立了一个清晰的概念基础。
在 Shannon 之前，通信工程界对于 “消息” 究竟是什么只有一个非常模糊的概念。Shannon 剥离了消息的语义（即 “意义”），指出消息应当被视为在多个选项之间的 “选择”。
他强调，重要的是进行选择，而不是选项的具体表现形式（如字母、象形文字或二进制 “0, 1” 代码）。这一想法构成了我们今天进行信息传输、存储的基础。
Shannon 进一步给出了通信过程的模型。他将整个通信过程抽象为一个包含信源（Source）、编码器（Encoder）、信道（Channel）、解码器（Decoder）和接收者的模型，并在历史上首次明确提出了 “编码（encoding）” 的概念。
他引入了人为数学模型（如 Markov 信源）来模拟具有统计规律的真实数据源，开启了利用随机过程来建立通信模型的先河。
三，离散信源时的信息论
在他 1948 年论文的第一部分，Shannon 研究了信源取值为离散变量（比如 0, 1）时的信息论。
Shannon 引入了熵（entropy）的概念，将其定义为离散随机变量
这一定义不仅赋予了信息以精确的数学度量，还指出了信息量与概率分布之间的负对数关系：概率越小的事件发生时带来的信息量越大。
在此基础上，Shannon 提出了著名的信源编码定理（source coding theorem）。
该定理的粗略陈述为：对于熵为
为了证明这一定理，Shannon 引入了典型序列（typical sequence）的概念，即每种符号出现频率与其先验概率极其接近的序列。这一定理及其证明中引入的概念构成了今天各类有损、无损压缩技术的理论基础。
接下来，Shannon 考虑了噪声环境下的传输可靠性问题，他提出了信道容量（channel capacity）的概念及其核心定理：噪声信道编码定理（noisy channel coding theorem）。
这一定理推翻了传统认为提高传输可靠性必须降低速率的直觉。
该定理陈述为：只要信息传输速率
为了证明这一结论，Shannon 引入了随机编码思想。
此外，Shannon 还确立了信源信道分离定理，指出在离散系统中，可以将信源压缩（去除冗余）与信道编码（增加冗余以抗噪）作为两个独立的过程处理，而无需进行联合优化。
这一原则直接促成了现代数字通信系统的模块化分层架构，使得互联网与蜂窝网络的实现成为可能。
四，连续信源时的信息论
在将理论扩展至连续情况时，Shannon 处理的是随时间连续变化的波形信号（例如一段音频）。他首先定义了连续随机变量的熵
其中
Shannon 证明了在给定的平均功率时，Gaussian 分布具有最大的熵，这一特性使得 Gaussian 噪声成为通信系统中最具破坏性的干扰形式。
为了将连续波形与离散比特流联系起来，香农应用并推广了采样定理（sampling theorem），指出一个带宽限制在
Shannon 给出了连续信道的加性白高斯噪声（AWGN）容量公式。对于带宽为
该公式深刻揭示了带宽与信噪比（SNR）之间的权衡关系：为了维持相同的传输速率，可以通过增加带宽来弥补信噪比的不足，反之亦然。这一公式指导了从早期卫星通信到现代 5G 技术的研发方向。
针对无法无损传输的连续信号，Shannon 进一步提出了率失真理论（rate-distortion theory），旨在寻找在允许一定保真度损失（失真
该理论指出，对于给定的失真测度，存在一个最小的比特率，使得解码后的信号与原始信号的平均失真不超过
五，密码学
在 1945 年撰写并于 1949 年公开发表的《保密系统的通信理论》（Communication theory of secrecy systems）中，Shannon 观察到保密系统在本质上就是一种特殊的通信系统：加密者试图通过引入干扰来防止非法监听者获取信息。
利用自己创立的信息论工具，Shannon 对密码系统的安全性进行了定量的分析。
他提出了 “完美保密性” 的概念，并用严格的数学语言证明了，要实现这种绝对无法破译的保密，唯一的办法是让密钥的熵不小于被加密消息的熵。
这一结论确立 OTP（One-time Pad）在理论上的安全性。
除此之外，Shannon 还考虑了保密性与消息冗余度之间的权衡。他引入了 “唯一解距离” 等概念，分析了攻击者在拥有多少密文的情况下可以通过统计方法还原原始信息。
他提出的 “扩散” 与 “混乱” 两大原则，即通过复杂的置换和代换将明文的统计特征抹去，至今仍是现代对称加密算法（如 DES 和 AES）设计的核心准则。
六、对人工智能、计算机博弈与自动机的早期探索
在完成了信息论的构建后，Shannon 的兴趣转向了更具挑战性的领域：如何让机器像人类一样思考和学习。他在 1950 年发表的论文《编程实现计算机下棋》（Programming a computer for playing chess）是这一方向的早期探索。
在那个计算机计算能力极其有限的年代，Shannon 就预见到了启发式搜索和博弈树的概念。
他详细描述了如何通过评估函数来判断棋局的优劣，并提出了两种不同的搜索策略：暴力搜索和具有选择性的深度搜索。
尽管他本人没有亲手写出能够击败世界冠军的代码，但他的思想框架为后续工作提供了重要参考。
不仅在理论上，Shannon 还是一位动手能力极强的发明家。他设计的 “Theseus” 机器老鼠是最早的机器学习和自动机实验之一。通过继电器电路实现的逻辑存储，这一装置能够在迷宫中自主探索并 “记住” 路径，甚至在迷宫结构发生改变时重新学习。
此外，他还对自动机理论做出了重要贡献，证明了仅需两个内部状态就能构造出一台通用的 Turing 机，极大地简化了计算理论中的物理模型。
他在机器人、概率逻辑以及数据结构等方面的零星尝试，虽然大多未正式发表为宏篇巨著，但其展现出的跨学科融合能力和对机器智能本质的探索，深刻地启发了后来的人工智能学者。
Shannon 始终认为，机器的价值在于其处理信息和做出决策的能力，这一愿景至今仍指引着现代智能技术的发展方向。
除了自身研究，Shannon 与麦卡锡（John McCarthy，1927-2011）、明斯基（Marvin Minsky，1927-2016）和罗切斯特（Nathaniel Rochester，1919-2001）共同组织并参与了 1956 年的 Dartmouth 研讨会（1956 Dartmouth workshop），该研讨会被认为是人工智能领域的奠基性会议。
