如果用一句话概括 克劳德·香农（Claude Shannon） 最重要的贡献：

他把“信息”从一个模糊的直觉概念，变成了可以被数学精确度量、编码、传输和压缩的东西。

这件事的影响极其巨大。今天的互联网、5G、Wi-Fi、光纤通信、数据压缩、纠错码、数字存储、密码学、人工智能中的信息论，都能追溯到香农奠定的基础。

一、香农到底是谁？

**Claude Elwood Shannon（克劳德·香农，1916–2001）**是美国数学家、工程师，被广泛称为：

“信息论之父”

他最重要的工作集中在1940年代。

尤其是1948年发表的经典论文：

《通信的数学理论》（A Mathematical Theory of Communication）

这篇论文几乎可以看成现代信息时代的一块“地基”。

有意思的是，香农真正厉害的地方并不是发明了某一个具体设备。

他做的是一件更底层的事情：

重新定义了我们应该怎样理解“信息”。

二、第一大贡献：建立了“信息论”

这是香农最重要的贡献。

在香农之前，人们当然知道“信息”是什么。

比如：

“明天下雨。”

是一条信息。

“明天晴天。”

也是一条信息。

但是有一个非常重要的问题：

一条信息到底有多少“信息”？

这是一个看似简单、实际上非常深刻的问题。

三、香农发现：信息量取决于“意外程度”

假设你问朋友：

“太阳明天会不会从东方升起？”

朋友回答：

“会。”

你可能觉得：

这有什么好说的？

因为这个事情几乎是确定的。

但如果朋友告诉你：

“明天太阳从西边升起。”

你会非常震惊。

为什么？

因为后者包含的信息量非常大。

所以香农提出了一个非常漂亮的思想：

越不可能发生的事情，一旦发生，包含的信息越多。

数学上：

其中：

• • 

  ：事件发生的概率

• • 

  ：这个事件带来的信息量

例如：

如果一个事件发生概率是：

那么信息量：

如果某件事情发生概率只有：

那么：

也就是说：

越罕见的事情，信息量越大。

这就是现代信息论最基本的思想之一。

四、第二大贡献：提出“熵”——信息到底有多少？

这是香农最著名的概念之一：

Entropy（熵）

公式是：

刚开始看这个公式可能非常抽象。

其实可以把它理解成：

熵 = 一个系统的不确定性有多大。

举个非常简单的例子。

情况A：硬币一定是正面

假设一个硬币：

• • 正面概率 100%
• • 反面概率 0%

那么你扔之前其实已经知道结果。

所以：

不确定性 = 0

因此：

情况B：公平硬币

• • 正面：50%
• • 反面：50%

你在扔之前完全不知道结果。

所以：

不确定性最大。

计算：

情况C：严重偏向正面的硬币

比如：

• • 正面 99%
• • 反面 1%

虽然仍然有不确定性，但是你大概率已经猜到了。

因此：

所以可以非常形象地理解：

熵不是“混乱程度”那么简单，而是“你在看到结果之前，到底有多少不确定性”。

这件事后来影响巨大。

五、为什么“熵”如此重要？

因为它解决了一个核心问题：

一个信息源平均产生的信息量到底是多少？

比如一个中文输入系统。

如果每个汉字都完全随机，那么可能需要非常多的比特来表示。

但是现实语言不是随机的。

例如：

“人工……”

后面出现：

“智能”

的概率可能很高。

而出现：

“拖拉机”

可能比较低。

也就是说：

语言中存在大量规律和冗余。

香农用熵把这种规律变成了数学。

这直接引出了：

数据压缩。

六、第三大贡献：证明了“数据可以压缩到什么程度”

这是香农极其重要的贡献。

假设你有一句话：

今天天气很好很好很好很好很好很好……

显然存在大量重复。

你没必要把每个字符原原本本存下来。

可以压缩。

但是问题来了：

究竟最多能压缩多少？

香农给出了理论答案。

这就是著名的：

香农第一定理——无失真信源编码定理

简单理解：

对于一个信息源，只要压缩方式设计得足够好，就可以把平均编码长度压缩到接近它的熵；但是不可能长期、无失真地突破这个极限。

也就是说：

大致可以理解成：

熵就是无损压缩的理论下限。

这非常厉害。

因为这告诉工程师：

“这个东西还能不能继续压缩？”

不再只是靠经验，而可以有一个数学极限。

七、这直接影响了今天的数据压缩

我们今天使用的很多技术，都和香农的思想密切相关：

• • ZIP
• • PNG
• • JPEG
• • MP3
• • 视频编码
• • 文件压缩
• • 数据库压缩
• • 网络传输压缩

当然，这些具体算法并不是香农本人发明的。

但是：

它们背后的理论框架，很大程度上来自香农的信息论。

八、第四大贡献：解决“有噪声的时候，信息还能不能可靠传输？”

这是香农最震撼的贡献之一。

想象一下：

你在北京给上海发送一个数字：

101101001010

但是通信线路上存在噪声。

可能发生：

101101001010 变成 101001001010

某些 0 和 1 被改变了。

那么问题来了：

通信中有噪声，信息是不是就注定会出错？

香农给出了一个令人震惊的答案：

不一定。

只要通信速率低于一个叫做：

信道容量（Channel Capacity）

的极限，就可以通过足够聪明的编码，使错误概率无限接近于 0。

这就是：

香农第二定理——有噪信道编码定理

九、什么叫“信道容量”？

可以把通信信道想象成一条公路。

比如：

北京 → 上海

信息就是汽车。

噪声就是：

• • 路面损坏
• • 雨雪
• • 交通事故
• • 干扰

信道容量就是：

这条路理论上能够可靠运送多少信息。

香农发现：

即使道路很糟糕，只要你不要超过它的理论承载能力，就可以通过设计合适的编码，实现非常可靠的通信。

十、这直接奠定了现代通信技术

今天：

• • 手机
• • 4G / 5G
• • Wi-Fi
• • 卫星通信
• • 光纤
• • 深空通信
• • 数字电视
• • 硬盘 / SSD
• • QR Code

都离不开：

纠错编码（Error-Correcting Codes）

例如：

你发送：1011

为了防止传输错误，可以增加一些冗余信息。

于是实际发送的可能不是 4 位，而是更多位。

如果其中一两位发生错误，接收端可以利用这些冗余：

猜出原来的信息是什么。

这就是现代数字通信为什么能够做到：

即使存在噪声，也能高度可靠地传输数据。

而香农最伟大的地方在于：

他首先从理论上证明了这件事情是可能的，并给出了极限。

后来几十年，工程师们不断发明：

• • 汉明码
• • Reed-Solomon 码
• • Turbo 码
• • LDPC 码
• • Polar 码

等等。

它们都是在不断逼近香农极限。

十一、第五大贡献：把“模拟世界”推向了“数字世界”

香农的信息论还有一个极其重要的历史作用：

它帮助建立了现代数字通信的理论基础。

过去的通信大量是模拟的。

例如声音：

但是数字通信会把信息转换成：

于是：

声音、图片、文字、视频

最终都可以统一成为：

比特（bit）

这件事情极其重要。

因为一旦所有东西都变成 

，那么：

文字、音乐、照片、视频、程序

都可以用统一的方式：

存储、复制、压缩、传输、处理。

这就是数字时代的底层逻辑。

十二、第六大贡献：奠定“数字通信”的统一语言——bit

香农之前，“信息”常常和：

• • 文字
• • 消息
• • 新闻
• • 语言

联系在一起。

香农把它抽象成了：

bit

bit 来自：

binary digit（二进制数字）

于是：

可以理解为：

回答一个二选一问题所需要的信息量。

例如：

明天是否下雨？

两个答案：

• • 是
• • 否

需要 

。

如果有 4 种可能（A、B、C、D），则需要：

如果有 8 种可能，则需要：

所以：

这使得：

信息第一次真正成为了一种可以计算的数学对象。

十三、第七大贡献：建立了“通信系统”的数学模型

香农还做了一件非常重要的事情：

把复杂的通信过程抽象成了一个非常简单的模型。

可以理解为：

信息源 ──> 编码器 ──> 信道 ──> 解码器 ──> 接收者

中间还可能存在噪声：

               噪声
                ↓
信息源 ──> 编码 ──> 信道 ──> 解码 ──> 接收者

这个抽象非常厉害。

因为它把各种不同的通信问题统一起来了。

打电话

你的声音 ──> 编码 ──> 无线信道 ──> 解码 ──> 对方听到声音

发微信

文字 ──> 编码 ──> 互联网 ──> 解码 ──> 对方看到文字

看在线视频

视频 ──> 压缩 ──> 编码 ──> 网络 ──> 解码 ──> 播放

表面上完全不同。

但从信息论角度：

本质上都是信息的编码、传输和解码。

十四、第八大贡献：把通信和概率论连接起来

香农的另一个巨大贡献，是把：

通信工程 + 概率论 + 数学

真正结合起来。

例如通信中有噪声：

其中：

• • 

  ：发送信号

• • 

  ：噪声

• • 

  ：接收到的信号

于是通信问题就变成了概率问题。

例如：

给定收到的 

，原来的 

 最可能是什么？

这就和条件概率 

 有关。

所以现代通信、机器学习、统计推断之间，其实存在非常深的联系。

十五、香农和今天的AI有什么关系？

这一点特别值得讲。

因为很多人会觉得：

“香农是搞通信的，和 ChatGPT 有什么关系？”

实际上关系非常深。

1. AI本质上也在处理信息

机器学习处理：

• • 数据
• • 特征
• • 概率
• • 不确定性
• • 编码
• • 表示

这些都与信息论密切相关。

2. 交叉熵

你在训练神经网络时经常看到：

交叉熵的理论根源就是信息论。

例如分类任务：

• • 真实答案：

• • 模型预测：

  猫

那么损失：

本质上就是：

模型对真实信息的“惊讶程度”。

所以今天深度学习最常见的损失函数之一——交叉熵，和香农的信息论有直接关系。

十六、语言模型为什么也和香农有关？

这一点尤其有意思。

假设 GPT 看到：

“今天天气非常……”

它预测：

• • 好：70%
• • 热：15%
• • 冷：5%
• • 糟糕：3%
• • ……

本质上是在预测条件概率：

也就是：

根据过去的信息，预测下一个信息。

而语言本身又有很强的统计规律。

香农早期甚至做过著名的：

英语字符预测实验

他通过统计实验研究英语文本中的字母、单词、上下文之间的规律。

他发现：

语言并不是随机字符串，而是具有非常强的统计结构和冗余。

这其实已经非常接近今天语言模型所做的事情。

十七、香农甚至研究过“AI”

这也是一个很有意思的事实。

香农并不只是通信工程师。

他还研究：

人工智能、机器学习、计算机、下棋、迷宫等问题。

1950年，他发表过著名论文：

《Programming a Computer for Playing Chess》

讨论计算机下棋。

他还和人工智能早期发展有很深关系。

因此，从历史角度看：

香农不仅是信息论之父，也是现代计算机科学和人工智能早期的重要奠基人物之一。

十八、香农还有一个非常重要的贡献：密码学

很多人容易忽略这一点。

香农在密码学方面也做出了非常重要的理论贡献。

1949年，他发表论文：

《Communication Theory of Secrecy Systems》

这篇论文建立了现代密码学的重要理论基础之一。

其中一个非常著名的概念：

Perfect Secrecy（完美保密）

香农证明：如果要实现理论上的完美保密，密钥必须满足非常严格的条件。

最典型的例子就是：

一次一密（One-Time Pad）

当密钥满足：

• • 完全随机
• • 和明文一样长
• • 只使用一次

理论上可以实现完美保密。

所以香农不仅回答了：

信息如何可靠传输？

还研究了：

信息如何安全传输？

十九、还有一个非常有趣的贡献：香农把“逻辑”与电路连接起来

其实香农早期最重要的一篇论文之一，是1937年的硕士论文：

《A Symbolic Analysis of Relay and Switching Circuits》

这篇论文非常重要。

香农发现：

布尔代数可以用来描述继电器和开关电路。

例如：

• • 逻辑 

   可以对应电路中的某种串联关系；

• • 逻辑 

   可以对应另一种并联连接方式。

这件事情今天看起来似乎非常自然，但当时具有划时代的意义。

因为它建立了：

之间的桥梁。

而现代计算机的底层（CPU、GPU、内存、数字芯片、FPGA）本质上都是巨大的数字逻辑电路。

因此，香农其实还参与奠定了：

现代数字计算机硬件的理论基础。

二十、把香农的贡献串起来，就非常震撼了

可以把香农的贡献画成这样：

             香农
               │
       ┌───────┼────────┐
       │       │        │
       ↓       ↓        ↓
    信息论   数字电路   密码学
       │
 ┌─────┼───────────┐
 ↓     ↓           ↓
 熵    编码       信道容量
 │     │           │
 ↓     ↓           ↓
 压缩   纠错       可靠通信
 │     │           │
 └─────┼───────────┘
       ↓
    数字通信
       ↓
 ┌─────┼──────────────┐
 ↓     ↓              ↓
互联网 手机          光纤
 ↓     ↓              ↓
Wi-Fi  5G          云计算
       │
       ↓
      AI
       ↓
机器学习 / 大模型

当然，这不是说：

“互联网、5G、ChatGPT 都是香农一个人发明的。”

而是说：

香农提供了其中极其重要的理论底座。

二十一、如果只记住香农的5个贡献

如果你不想记那么多，建议记住下面五个：

① 信息量

香农告诉我们：

越意外的事情，信息量越大。

② 信息熵

它衡量：

一个信息源有多少不确定性。

③ 数据压缩极限

香农第一定理告诉我们：

数据可以压缩，但存在理论下限。

这成为现代压缩技术的重要理论基础。

④ 噪声中的可靠通信

香农第二定理告诉我们：

只要传输速率低于信道容量，即使存在噪声，也可以通过合适的编码让错误率无限接近于 0。

这是现代数字通信的核心理论之一。

⑤ 把信息变成数学对象

这是香农最伟大的贡献。

在香农之前：

“信息”更多是一个语言和直觉概念。

香农之后：

信息可以被精确计算。

你可以问：

• • 一句话有多少信息？
• • 一个文件最低需要多少比特？
• • 一条通信线路最多传多少信息？
• • 噪声下最多能可靠传多少信息？
• • 数据还能压缩多少？
• • 编码效率有多高？

这些问题都可以用数学回答。

二十二、香农最伟大的地方，其实不是某一个公式

如果把牛顿的伟大理解为：

发现了自然运动的统一规律

那么香农的伟大可以理解为：

发现了信息世界的统一规律。

他做了一次非常深刻的抽象：

以前人们认为：

文字是一回事，图片是一回事，声音是一回事，电报是一回事，电话是一回事。

香农告诉我们：

别管它具体是什么。

只要它能够被表示成符号序列，它本质上都可以看成：

信息。

而信息可以进行统一的流程处理：

这套思想最终让：

文字、图片、音乐、视频、程序、网页、AI模型参数

全部进入了同一个数字世界。

二十三、所以，香农真正改变了什么？

可以用一句非常通俗的话总结：

香农最大的贡献，是让“信息”从哲学概念变成了工程对象。

• • 以前我们只能说：“这是一条消息。”
  香农之后我们可以说：“这条消息包含多少信息？”
• • 以前我们只能说：“通信线路有噪声。”
  香农之后我们可以问：“在这种噪声下，理论上每秒最多能可靠传多少 bit？”
• • 以前我们只能说：“这个文件有很多重复。”
  香农之后我们可以问：“它理论上最少能压缩到多少？”
• • 以前我们只能说：“模型预测得好不好？”
  今天我们可以进一步使用熵、交叉熵、KL散度、互信息等工具来定量描述。

最后用一张表记住香农

如果只记一句话：

香农最重要的贡献，不是发明了某一种通信设备，而是建立了“信息的数学”。他告诉人类：信息可以被度量，信息可以被压缩，信息可以被编码，信息可以在噪声中可靠传输，而且这些问题都存在可以用数学计算的理论极限。

这就是为什么香农通常被认为是现代信息时代最重要的奠基者之一。