深扒GPT Image 2：疑似“吞”下了GPT-4o，OpenAI没把它当“生图”模型训练

作者｜樊雅婷
邮箱｜fanyating@pingwest.com

GPT Image 2 凭什么这么强？

是扩散模型又迭代了一版？是把 DiT 的参数量从 7B 扩到 20B？是训了更多高质量数据？

这些答案都对，但都不够。

以下是我们与多位从业者交流后，提炼出的几个值得关注的技术方向，并尝试做出更清晰的解释。

先给结论：OpenAI 很可能已经不在“纯扩散模型”这条主赛道上了。他们已经把图像生成从“美术课”调到了“语文课”——用一个能读懂指令、能记住上下文、能理解物体关系的 LLM 主导语义规划，至于最后一步的像素生成，可能由扩散组件或其他解码器完成。

而这个LLM，极大可能是GPT-4o。

支撑这个推论的，首先是两条直接线索。

模型自述

C2PA溯源验证

C2PA 是一种内容溯源标准，相当于给每张 AI 生成的图打上一个数字身份证。任何人拿到这张图，都能查到它是由 GPT Image 2 生成的、生成时间是什么、经过了哪些修改。

有专业人士在metadata2go.com上对image 2生成的图片进行元数据提取。发现在actions_software_agent_name一栏上记录着GPT-4o。

这也能理解为什么这次image 2的表现惊人了。

单凭这两条当然不足以拆解全部秘密。但当我们带着“LLM 主导”的假定回头审视它的每一项能力跃迁时，这些变化，忽然有了统一的解释。

一

1.1

过去两年，AI 生图领域有一条不成文的鄙视链：Midjourney 负责美学，Stable Diffusion 负责可控性，DALL·E 负责……嗯，负责被 OpenAI 发布。但不管你站哪一队，有一件事是所有人的共识——文字是 AI 的鬼门关。

你能让 AI 画出逆光下缅因猫毛发的半透明质感，却无法让它写对招牌上的“Coffee”六个字母。一个能理解顶级光影描述的模型，在文字上给出的结果仿佛楔形文字。这件事的荒诞与根源，就藏在扩散模型的工作原理里。

先说扩散模型为什么写不好字？

因为它的核心是一个从噪声中还原图像的“雕塑家”：

训练时，向清晰照片逐步撒噪声，直到变成纯电视雪花，模型学习逆向去噪。

生成时，从一片随机噪声开始，每步都靠 U-Net 预测并擦除噪声，几十步迭代后“雕”出毛发、虹膜和光影。

这个过程本质上在还原连续的、可以用概率无限逼近的纹理。毛发可以稍微硬一点或软一点，颜色可以偏暖 5%，无伤大雅。

但文字是离散符号，不存在“像不像”，只有“是不是”。字母 A 就是 A，你不能给它加 15% 的 B 和 8% 的 C 还指望它依然是 A。扩散模型的每一步去噪都是一个微小“估计”，用在纹理上是风格，用在文字上就是 O 变 0，或是拼出 WElcOm e。

最终就成了外行眼中的“楔形文字”。

不仅如此，扩散模型天然缺乏跨轮编辑的稳定一致性。你让它改一个局部，它本质上是整张图重新画一遍，没改动的地方也会悄悄漂移。

但GPT Image 2现在不仅能“写对字”，还能保持“有记忆”的一致性例如：你修改一个字之后，周围的文字会自动调整间距；当你把“咖啡”改成“红茶”，它不只是替换那个词，而是连带把杯子的颜色从深棕调成了琥珀色。

这说明文字在它的系统里不是图层标注，而是画面语义的一部分。文字内容的改动会像语言中的主语替换一样，连锁驱动画面其他元素的合理变化。

1.2

它不再把图像当图像看，而是把图像当语言看。

这听起来像玄学，但其实是个很具体的工程选择。要理解这件事，得先搞明白一个概念：Tokenizer。

Tokenizer 的作用是把一种东西“翻译”成另一种东西。GPT 处理文字前，会先把“你好”这个词切碎编号，变成一个数字 ID，比如 [11892]。这是文本 token 化。

图像能不能也这么干？当然能。你把一张图切成 16×16 的网格，每个格子编个号，也是一种 token 化。但这种做法太笨重——一张 1024×1024 的图会变成几千个 token，LLM 还没开始画就先被淹死了。

所以过去两年，各家大模型公司在拼一件事：怎么把一张图压成尽量少的 token，同时还不丢关键信息。

这事有多难呢？想象你是一个情报员，要把《蒙娜丽莎》用一封电报发出去。电报局规定你最多只能发 256 个字。你怎么办？你不能说“一个女人在笑”，因为对方画不出来；你也不能逐个像素描述，因为字数不够。你必须发明一套只有你和对方懂的密语——“52号微笑、3号背景、17号手势”——对方收到后能八九不离十地还原出来。

这就是 OpenAI 在 tokenizer 上干的 事。从 CLIP 到 DALL·E 再到 GPT-4o，他们逐渐构建了一种能够在视觉与语言之间进行映射的语义表示体系。

这意味着：图像和文本被投影到了同一个对齐后的语义 embedding 空间。

现在在 LLM 眼里，“一只逆光的缅因猫”这行字，和一张逆光缅因猫的照片，是同一个语义空间里的两套坐标。它能像理解文字一样理解图像，也能像生成文字一样生成图像。

所以当你说“把第三行公司名改成团伙名”，它不是在修图软件里找那个图层，而是在改写一段描述这个画面的密文。改完后，解码器再把密文翻译回像素。

这就是为什么文字突然能写对了。因为对 LLM 来说，写一个W和写一个我，没有任何本质区别——都是它在密语系统里调整几个 token 的事。

1.3

既然 GPT Image 2 很可能把图像变成了语义密文，那这串密文怎么变回一张能看的图？

如果直接把 token 映射成像素，画质必然一塌糊涂，这是自回归模型的通病：它极度擅长决定画什么，却不太擅长画得好看——就像建筑系教授徒手画效果图，空间关系全对，笔触就是不及美院学生。

而扩散模型正好相反，纹理光影以假乱真，却经常不知道自己在画啥。因此，一个高度自洽的推测浮现：让两款模型打配合。

自回归负责定调：根据你的 prompt 生成那几百个语义 token，敲定画面里有什么、它们的位置关系、整体构图逻辑。这一步决定了“听得懂”，也保证了多轮编辑时对修改对象的记忆与一致性。

扩散负责润色：拿到这串语义 token 后，不再负责理解内容，只负责填充高保真像素，把既定框架变成光影自然的成图。这一步决定了“画得好”。

这不是理论空想。Google 发过一篇叫 Transfusion 的论文，Meta 搞过 Chameleon，走的都是类似路线。

当然，这一切都是基于公开信息和模型表现的推断。

OpenAI 有没有在用？2026 年 4 月的媒体会上，OpenAI 拒绝回答任何关于模型架构的问题。拒绝本身就是一个信号。

如果这个假设成立，那就解释了一切——文字写对是因为自回归天然懂离散符号；多轮编辑一致是因为自回归记住了那一串 token；画质没崩是因为扩散在最后一关做了精细渲染。

数据飞轮，GPT-4o 自己教自己生图

2.1

但上文那个能把图像压成几百个 token 的“密语系统”，到底是怎么训出来的？为什么不是别的模型，偏偏是GPT-4o？

答案藏在一件看起来最没有技术含量的事里：数据标注。

在 AI 圈，数据标注长期处于鄙视链底端。研究员聊架构可以聊一晚上，聊数据标注三句话就冷场。但 GPT Image 2 这次的表现，甚至表明OpenAI 可能已经不需要人工标注了。

而GPT-4o 本身就是全世界最强的图像理解模型之一。你给它一张图，它能写出一段比真人标注师还细腻的描述。所以OpenAI 可以把过去几年积累的几十亿张图片，重新“过一遍水”——用 GPT-4o 生成新的、高维度的标注。

但到这里，只解决了“描述”的问题，没解决“筛选”的问题。一个模型生成一百张图，并不是每一张都值得拿来当下一轮训练的教材。这里需要一套严格的“质检”机制——在机器学习里，这叫拒绝采样。

具体来说就是，GPT-4o 先根据一段 prompt 生成一批图像，然后根据美学偏好、指令匹配度、物理合理性等多条标准，逐张打分。批到符合条件的才“收下”，连同它为自己撰写的详细解析，一起塞进下一轮训练集。批到不及格的就直接扔掉。这保证飞轮里的数据不是在低水平循环，而是在有选择地自我提纯。

上一代模型给下一代模型当老师，下一代模型再给下下代当老师。每转一圈，对世界的理解就深一层。

大家的差距也在这个过程中越来越大。这也解释了为什么Midjourney在画质上能和OpenAI掰手腕，但在指令遵循和文字渲染上被拉开代差。

当然，听上去像个永动机骗局——自己教自己，那不得越教越傻？学术界确实有这个担忧，管它叫模型崩溃：模型反复吃自己吐出来的东西，会逐渐丢失分布的尾部信息，生成结果越来越单一、越来越平庸。

但OpenAI在文本侧已经证明：只要老师模型足够强，并且配合拒绝采样这样的严格筛选机制，这事不但不会崩，还能加速，形成数据飞轮。

2.2

这个飞轮里还有一个重要且难搞的角色——RLHF 在图像侧的质检员。

我们在文本侧已经习惯了 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）：给一段文字打分，判断它有用、有趣、符合人类偏好，这件事 GPT-4o 做得很好。

但在图像侧，难度骤升。因为质检员需要同时盯住三条线：美学偏好；指令遵循；安全过滤。

三条线的标准各不相同，甚至互相冲突。一道强光影可能很“好看”，但压暗了 prompt 里要求的某个细节，就会被“指令遵循”扣分。一层安全滤镜可能误伤正常的医学解剖图，又得回头调阈值。这种多维度权衡，在文本侧已经跑通，但在图像侧变得前所未有的复杂。

而 OpenAI 之所以能做成，很可能是因为他们把图像侧的问题全部拉回了自己最擅长的战场：语言理解。

美学偏好被转译成一段构图评语，指令遵循被转译成一组约束条件的核对清单，安全过滤被转译成一套规则判例。所有判断最终都落到了 LLM 的语义空间里。

可能这才是数据飞轮真正的底牌。不是数据多，而是从标注、筛选到打分，全链路都被统一到了一个理解框架里。拒绝采样负责海选淘汰，RLHF 负责精修调优，两者共享一套语义标准，飞轮才转得起来。

3.1

到这里，我们聊的都是效果。接下来聊一个经常被刻意绕开的话题：推理速度。

先不说审美和一致性上的飞跃，且说一个看似矛盾的现象：生图质量跃升了一个代际，但速度并没有明显变慢。这本身就是一种工程奇迹——OpenAI 是怎么做到的？

自回归模型的运作方式是逐 token 生成——每个 token 都依赖上一个 token 的完成。扩散模型则不同，它可以在整张画布上并行去噪，一次处理所有像素。按理论推算，如果 GPT Image 2 确实用了自回归架构，它的推理延迟应该比纯扩散模型高出一个数量级。

但实际体验是：没有。

第一条线索：Token 压缩率可能远超预期。 如果一张 1024×1024 的图只需要 256 个 token 就能完整描述，对 Transformer 来说就是一次呼吸的事。这意味着 OpenAI 不仅做到了语义对齐，更在压缩率上做到了极致，把高信息密度浓缩到几行字的程度。

第二条线索：推理架构的深度优化。 混合架构中，自回归生成的是粗粒度的语义 token，决定“画什么”，不负责“画成什么样”。生成步骤大幅缩短，扩散模型只用在最后一小段“按图施工”，而不是从头噪到尾。

第三条线索：投机解码（Speculative Decoding）可能被用到了图像侧。 用一个更小的“草稿模型”快速生成候选 token，再由大模型一次性验证，这套 LLM 推理加速经典技巧如果用在图像 token 上，速度可以成倍提升。OpenAI 在 GPT-4 时代已把这套玩熟，移植到图像侧没有原理障碍。

所以结论是：GPT Image 2 的快，不是因为扩散模型变快了，而是因为可能它把最慢的语义规划，从扩散模型手里抢了过来，交给了擅长快速推理的 LLM。

3.2

比速度更影响体验的，是与对话系统的整合。

在传统图像生成工具中，例如 Midjourney 或基于 Stable Diffusion 的工作流，用户通常通过编写 prompt 来控制输出结果。虽然这些工具已经支持诸如variations、inpainting和历史记录等功能，但整体流程仍然以“单次输入 → 单次输出”为主，用户需要通过多次尝试逐步逼近目标效果。

这种过程在实践中往往表现为反复试错：

用户根据结果调整 prompt，但模型对指令的理解程度并不完全透明，因此需要多轮迭代来校正偏差。

相比之下，集成在对话系统中的图像生成引入了连续上下文机制，改变了交互方式。

用户可以在多轮对话中逐步细化需求

模型能够利用对话历史理解“当前修改”对应的对象或属性

修改请求可以以更自然语言的形式表达，而不需要一次性写出完整 prompt

例如，在多轮交互中，用户可以先生成一个基础场景，再逐步提出局部修改（如颜色、位置、风格）。最后，模型基于上下文生成新的结果。

对话式交互还带来另一个优势：需求澄清能力clarification。将模糊的自然语言意图，逐步转化为更具体的生成条件，从而提高生成结果与用户预期之间的一致性。

在 GPT Image 2 出现之前，AI 生图领域的讨论框架是这样的：

“扩散模型的缩放定律还能走多远？”

“DiT 架构和 UNet 架构谁更优？”

“Flow Matching 会不会取代 DDPM？”

“多模态对齐的损失函数怎么设计？”

这些问题都有价值，但它们共享一个隐含前提：图像生成是一个独立的、需要专门架构来解决的问题。

而GPT Image 2 给出的的回答是：不一定。

如果我们把镜头再拉远一点，GPT Image 2 的出现其实指向了一个更大的命题：世界模型。

让我们重新思考什么是生成，以及世界。

点击关注我哦