点击上方“图灵人工智能”，选择“星标”公众号

您想知道的人工智能干货，第一时间送达

我们并不是生活在不同世界里，而是用不同目标，把同一个高维世界压缩成了不同的低维版本。噪声不是绝对的垃圾，结构也不是绝对的真理；目标、约束和场景决定了哪些信息被留下，哪些信息被丢掉。人类把连续世界压成离散语言，AI 又把离散语言放回连续高维向量空间。

▲ 同一个高维世界，会被不同目标压缩成不同低维版本

开场：同一杯水，五个世界

桌上放着一杯水。

物理学家看见的是温度、压强、体积，以及背后无数水分子的运动。

化学家看见的是氢键、溶质、pH、离子浓度。

画家看见的是透明度、反光、边缘、色温，以及杯子在桌面上投下的淡淡阴影。

音乐家可能根本不关心水本身。他轻轻敲一下杯壁，听见的是音高、音色、共振和衰减。

医生看见的是另一套东西：它干不干净，能不能喝，某个病人现在适不适合喝。

同一杯水，怎么会变成五个世界？

不是因为他们看见了不同的物体。

而是因为他们带着不同的目标，在同一个世界里保留了不同的信息。

物理学家的世界里，反光可能只是噪声。

画家的世界里，反光恰恰是结构。

医生的世界里，透明不一定代表安全。

音乐家的世界里，水位改变了杯子的音高。

这件事看起来很日常，但它背后藏着一个非常深的判断：

我们并不是生活在不同世界里，而是用不同目标，把同一个高维世界压缩成了不同的低维版本。

所谓专业视角，就是一种训练出来的压缩器。

它让你在混乱里看见结构，也让你自动忽略许多别人正在认真看的东西。

▲ 同一杯水的三种压缩：物理、化学和审美

一、世界太高维，人必须压缩

真实世界不是一张表格。

它不是几列特征、几个标签、一个答案。

它是连续的、动态的、纠缠的、高维的。

这里的“高维”，不是神秘数学。

它只是说：一个对象同时有很多可以变化的方向、很多彼此关联的自由度。

这里的“低维”，也不是低级。

它只是说：为了感知、记忆、交流和行动，我们只能带走一小部分摘要。

一杯水里有分子位置、速度、氢键变化、杂质分布、玻璃折射、环境光线、桌面纹理、人的身体状态、社会语境，甚至还有“这杯水是谁倒的”“为什么放在这里”这种关系信息。

如果你想把这些东西全部带走，你会立刻崩溃。

人没有这个带宽。

眼睛不是相机。

耳朵不是录音机。

大脑不是硬盘。

语言更不是世界本身。

我们每一次观察，都是一次选择性压缩。

你看见“红灯”，不是因为你收下了整个路口的所有光子信息，而是因为你的视觉系统、交通经验和行动目标一起，把复杂场景压成了一个低维判断：

停。

你听见“他语气不太对”，也不是因为你保存了声波的全部细节，而是你把音高、停顿、语速、上下文、关系记忆压成了一个社会判断：

他可能有情绪。

这不是缺陷。

这是智能的前提。

如果不压缩，世界只会是一片无法行动的连续噪声。

但问题也从这里开始。

压缩一定会丢东西。

而丢掉什么，往往不是由世界单独决定的，而是由目标决定的。

二、噪声不是垃圾，噪声是目标下的剩余

我们平时说“噪声”，很容易把它想成脏东西。

照片拍糊了，是噪声。

录音里有电流声，是噪声。

数据标错了，是噪声。

这些当然是噪声。

但更难的噪声，不是世界本身脏了，而是：

某些信息在这个目标下不再重要。

同一张试卷，如果老师要判数学答案，学生的笔迹大多是噪声。

但如果任务换成笔迹鉴定，笔迹就成了结构。

同一张医学影像，如果医生要判断肿瘤边界，显示器色彩风格可能是噪声。

但如果工程师要校准显示设备，色彩偏差就是结构。

同一段话，如果你在做语法分析，情绪可能是噪声。

但如果你在判断一段关系是否正在破裂，情绪才是主信号。

这就是 Information Bottleneck 这条线真正厉害的地方。

它不把“有用信息”当成一个绝对概念。

它问的是：

给定原始信号 X，给定目标 Y，我们能不能把 X 压成一个更短的表示 Z，同时尽量保留关于 Y 的信息？

换句话说，不是所有关于 X 的信息都值得保留。

值得保留的，是那些对 Y 有用的信息。

目标 Y 变了，结构就变了。

目标 Y 变了，噪声也会变。

这对 AI 是一件大事。

也对人是同一件事。

一个学生做错题，家长看到的是“不认真”。

老师看到的可能是“概念没建好”。

心理咨询师看到的可能是“恐惧让反馈通道关闭了”。

同一个错误，在三种目标下，被压缩成三种完全不同的结构。

所以很多争论，根本不是一方有逻辑、一方没逻辑。

而是双方的目标函数不同。

他们保留的结构不同。

他们丢掉的噪声也不同。

▲ 同一组数据，目标变了，结构和噪声也会互换

三、概率，是低维摘要背后的阴影

再回到那杯水。

我们说它的温度是 25 摄氏度。

这句话很有用。

它让我们不用追踪每一个水分子的速度和方向，就能判断它凉不凉、会不会结冰、适不适合喝。

但温度不是水的全部。

温度是无数微观运动的低维摘要。

同一个温度背后，可以对应极其多的微观状态。

有些分子快一点，有些慢一点。

有些往左，有些往右。

有些正在和邻近分子形成短暂的氢键，有些刚刚挣脱。

你把这一切压成一个数字：

25 摄氏度。

这个数字非常好用。

也非常粗暴。

统计力学最迷人的地方就在这里。

它告诉我们，宏观世界不是没有规律，而是规律来自压缩。

温度、压强、体积这些宏观变量，让我们可以理解和行动。

但它们也把大量微观细节藏到了背后。

被藏起来的东西，不是消失了。

它们变成了概率、涨落和熵。

这也是为什么我在《世界为什么总有噪声？》里说：

噪声不只是脏数据，它是有限观察面对复杂世界时，无法带走的剩余信息。

这句话在这里可以再往前推一步：

概率，常常是高维世界被低维观察之后留下的阴影。

当然，这里要小心。

在经典统计力学里，我们可以把很多概率理解为信息不足下的描述。

但到了量子力学，概率是不是“只是无知”，就不再是这么简单的一句话。

所以本文先不把话说满。

我们只保留这个足够有用的直觉：

只要观察者站在世界内部，只要他不能携带全部微观信息，概率和不确定性就会自然出现。

不是因为人愚蠢。

而是因为任何有限智能体都必须压缩。

如果温度是物理世界的宏观压缩，那么语言就是人类经验的社会压缩。

四、语言：人类最伟大的低维压缩

人类最伟大的压缩工具是什么？

不是 zip。

不是 JPEG。

也不是神经网络。

是语言。

真实经验是连续的。

语言是离散的。

真实经验里，有光线、气味、温度、身体姿势、历史记忆、社会关系、情绪波动和无数没法说清的细节。

但你最终说出来，可能只剩一句话：

这杯水有点凉。

“有点”是多少？

“凉”是物理温度，还是身体感受？

是抱怨，提醒，关心，还是单纯描述？

这句话没有写出来。

但听的人会解压。

他会根据自己的经验、关系、场景和情绪，把这句话重新展开成一个世界。

这就是语言的厉害之处。

它把高维经验压成可以传递的低维符号。

也正因为如此，语言永远有损。

一个词，不是世界。

一个句子，不是经验。

一段解释，也不是你真正经历过的全部。

语言让文明可以传承。

也让误解变得不可避免。

更复杂的是，每个人的“解压器”不同。

同一句“你自己看着办”，在一个人那里是信任。

在另一个人那里是冷漠。

在职场里可能是授权。

在亲密关系里可能是危险信号。

文本没有变。

解压路径变了。

这也是为什么我越来越觉得，沟通障碍不只是表达技巧问题。

很多时候，它是压缩格式不兼容。

你以为自己说得很清楚。

但你压进去的结构，别人没有解出来。

别人解出来的东西，又可能是你从来没有放进去的。

五、AI 做了一件反向的事

人类把连续世界压成离散语言。

传统计算机又把语言压成编号。

比如“苹果”是一个编号，“香蕉”是另一个编号。

编号很方便。

但编号本身没有意义。

编号 1024 和编号 1025，并不代表两个词更相近。

这就像身份证号。

身份证号相邻的人，未必住得近，未必性格像，未必有任何关系。

Embedding 的关键一步，是把编号重新放进一个连续空间。

在这个空间里，词和词之间开始有远近。

“苹果”和“水果”近一点。

“苹果”和“手机”也可能在另一个方向上近一点。

“apple”“pomme”“manzana”“りんご”“사과”这些不同语言里的词，也可能因为共同语境、视觉经验和翻译数据，被拉到相近区域。

这就是 AI 很迷人的地方：

人类把连续世界压成离散语言，AI 又把离散语言放回连续高维向量空间。

当然，它放回去的不是原始世界。

它没有真的闻到苹果。

没有真的拿起杯子。

没有第一次喝凉水时身体一激灵的经验。

它放回去的是人类语言里留下的结构痕迹。

语法结构。

语义结构。

叙事结构。

逻辑结构。

文化结构。

价值结构。

这些结构原本散落在书、网页、论文、对话、代码、评论、说明书和教材里。

模型通过预测下一个 token，把它们压进参数。

再通过 Embedding、Attention、MLP、残差流和概率分布，在高维空间里重新组织。

所以，大语言模型不是简单地“记住了很多句子”。

它更像是把人类的离散语言，重新织成了一张连续的结构网。

这也解释了一个现象：

为什么 AI 有时能跨学科泛化？

因为很多学科在人类语言里被分开了，但在高维表示里，它们可能有相似方向。

“熵”在热力学里是混乱程度，在信息论里是不确定性，在机器学习里又进入交叉熵、压缩和概率预测。

人类分科，是因为一个人的认知带宽不够。

模型的高维表示，则可能把这些分散的概念重新拉到同一个结构邻域里。

这不是神秘主义。

这是表示学习。

于是，智能系统里两件看似相反的事就连上了：

压缩，和展开。

压缩让结构可以被携带。

展开让结构可以被看见。

六、为什么有时要降维，有时又要升维

讲到这里，很容易出现一个误会：

既然世界是高维的，低维是压缩，那是不是高维就更高级？

不是。

高维提供表达能力。

低维提供行动能力。

一个地图如果和城市一样复杂，它就不是地图。

一个解释如果和世界一样复杂，它就不是解释。

一个模型如果保存了所有原始数据，却不能在新问题上做判断，它也没有真正理解。

所以，降维不是失败。

降维是行动的前提。

问题不在于降维。

问题在于你降掉了什么。

好的降维，是把表面细节压掉，把关键结构留下。

坏的降维，是把灵魂压掉，只剩标签。

但另一方面，有时我们又必须升维。

因为有些结构在原来的低维视角里纠缠在一起，怎么看都分不开。

最经典的例子是 XOR。

在二维平面里，四个点交叉分布，你没法用一条直线把两类分开。

但如果你增加一个新维度，比如 z = (x - y)^2，原本纠缠的结构就有了展开空间。

原来在平面里交错的两类点，会被拉成上下两层。

升维之后，线性分割反而变容易。

这就是 kernel trick 和许多高维表示方法背后的直觉。

升维不是为了玄。

升维是为了让隐藏结构变直。

降维也不是为了偷懒。

降维是为了让复杂世界可以被携带、交流和行动。

一句话：

降维是为了带走结构，升维是为了看见结构。

▲ 升维不是炫技：XOR 在二维纠缠，在三维变得可分

七、沟通障碍：不是你错了，是你保留的不变量不同

现在我们可以回到最开始的问题。

为什么人和人之间那么容易误解？

因为我们都在压缩世界。

但我们不是用同一个压缩器。

画家保留光影。

音乐家保留节奏。

工程师保留约束。

医生保留风险。

老师保留反馈通道。

创业者保留机会成本。

家长保留安全感。

孩子保留被看见的感受。

这些视角没有一个是完整世界。

但每一个都可能抓住了某种真实结构。

问题在于，人常常会把自己的压缩结果误以为世界本身。

工程师说：

这个方案不可行。

他想表达的是接口、成本、时间、维护风险。

但另一个人听见的可能是：

你否定了我的想法。

老师说：

这个地方你还没真正懂。

他想表达的是概念结构还没有建立。

学生听见的可能是：

我又不行。

医生说：

这个指标先观察。

他想表达的是概率、风险和干预时机。

病人听见的可能是：

你是不是不重视我？

同一句话，在不同解压器里，会变成不同世界。

这就是沟通里最难的地方。

你以为自己在传递信息。

对方接收到的，却是关系、态度、权力、经验、创伤和预期。

所以真正高级的沟通，不是把话说得更满。

而是先问：

对方现在用什么压缩器在理解这件事？

他在保留什么？

他在丢掉什么？

他把我当成什么目标函数的一部分？

我又把他压成了什么？

八、AI 可能成为不同压缩器之间的翻译器

这也是 AI 很值得期待的一面。

如果 AI 只是更快地给答案，它的意义有限。

真正有意思的是，它可能帮助我们在不同表示之间转换。

把医生的风险语言，翻译成病人能理解的生活语言。

把工程师的约束语言，翻译成产品经理能行动的决策语言。

把学生的错误，翻译成老师能看见的概念缺口。

把一个学科里的结构，投影到另一个学科里，让人突然意识到：

原来这两件事是同一件事的不同投影。

这也是为什么多模态、世界模型、Embedding、推理流形这些方向重要。

它们不只是让 AI 看图、听音频、写文字。

更深一层，它们是在尝试把不同媒介里的结构，放进某种可以互相对齐的空间。

图像不是文字。

声音不是文字。

行动不是文字。

但它们可能共享某些更深的结构：

节奏。

边界。

因果。

对称。

张力。

目标。

反馈。

如果 AI 能在这些结构之间做翻译，它就不只是答案机器。

它会变成一种新的认知桥梁。

当然，这里也要警惕。

AI 没有上帝视角。

它也只是从训练数据、模型架构、目标函数、对齐制度和工具环境出发，压缩世界。

它的压缩同样有偏心。

它会保留某些结构。

也会丢掉某些人的经验。

这就是为什么《AI 有母语吗？》那篇文章里，我们讨论过“语言重力”。

模型不是中性的透明玻璃。

它压缩过什么语言、什么文化、什么制度、什么平台，都会进入它默认的世界观。

所以未来真正重要的问题，不只是：

AI 能不能理解我？

还包括：

它是通过谁的压缩格式来理解我？

九、理解他人，是临时切换压缩器

写到这里，这篇文章其实可以压成三句话。

第一句：

世界太高维，所以智能必须压缩。

第二句：

目标不同，所以结构和噪声会互换。

第三句：

语言让压缩可以传播，也让误解不可避免。

这里说的“压缩器”，不是一个漂亮比喻。

它是一套工作方式：目标、约束、保留、丢弃、再展开。

这三句话合在一起，就能解释很多事。

为什么专家会隔行如隔山？

不是因为世界被分成了很多块，而是不同专业训练出了不同压缩器。

为什么亲密关系里会有那么多误会？

不是因为对方听不懂字面意思，而是同一句话在不同经验里会被解压成不同关系信号。

为什么 AI 能从语言跨到图像、代码、音乐和数学？

因为它把离散符号放进高维空间，开始寻找不同媒介背后的共同结构。

为什么压缩不是理解的全部？

因为压缩之后，还要看它有没有保住因果、反馈、验证和行动后果。

好的理解，不是把世界压扁。

好的理解，是在压缩之后，还保留生命。

好的沟通，也不是让别人接受你的低维版本。

好的沟通，是你愿意承认：

别人保留了我丢掉的东西。
我也丢掉了别人赖以判断的东西。

也许成熟的标志，不是拥有一个越来越坚定的世界观。

而是知道自己的世界观，只是高维世界的一种投影。

它有用。

但它不完整。

它能照亮一部分。

也会遮住一部分。

真正的理解，发生在我们愿意暂时放下自己的压缩器，试着进入别人的压缩器时。

那一刻，我们不是放弃判断。

而是在更高一层看见：

世界没有变。

只是投影变了。

参考资料

• Claude E. Shannon, A Mathematical Theory of Communication, 1948.
• Claude E. Shannon, Coding Theorems for a Discrete Source With a Fidelity Criterion, 1959.
• E. T. Jaynes, Information Theory and Statistical Mechanics, 1957.
• Naftali Tishby, Fernando C. Pereira, and William Bialek, The Information Bottleneck Method, 1999.
• Thomas M. Cover, Geometrical and Statistical Properties of Systems of Linear Inequalities with Applications in Pattern Recognition, 1965.
• Bernhard E. Boser, Isabelle M. Guyon, and Vladimir N. Vapnik, A Training Algorithm for Optimal Margin Classifiers, 1992.
• Corinna Cortes and Vladimir Vapnik, Support-Vector Networks, 1995.
• L. van der Maaten and Geoffrey Hinton, Visualizing Data using t-SNE, 2008.
• Leland McInnes, John Healy, and James Melville, UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction, 2018.
• Geoffrey E. Hinton and Ruslan R. Salakhutdinov, Reducing the Dimensionality of Data with Neural Networks, 2006.
• Yoshua Bengio, Aaron Courville, and Pascal Vincent, Representation Learning: A Review and New Perspectives, 2013.
• Tomas Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013.
• Jeffrey Pennington, Richard Socher, and Christopher D. Manning, GloVe: Global Vectors for Word Representation, 2014.
• Alec Radford et al., Learning Transferable Visual Models From Natural Language Supervision, 2021.
• Horace Barlow, Possible Principles Underlying the Transformations of Sensory Messages, 1961.
• Rajesh P. N. Rao and Dana H. Ballard, Predictive Coding in the Visual Cortex, 1999.
• David H. Wolpert and William G. Macready, No Free Lunch Theorems for Optimization, 1997.

文章精选：

1.编程时代已终结！ClaudeCode创始人断言：编程就像发短信一样自然，首曝个人最新工作流：自创Sloop循环，单日PR达150！传统SaaS护城河崩掉