【AI加油站】第一百三十五部：从零搭建大语言模型：手把手教你实现GPT核心架构（附下载）

不写一行代码，也能搞懂ChatGPT背后的秘密

大语言模型（LLM）已经成为人工智能领域最热门的技术之一。ChatGPT、GPT-4等模型展现出了惊人的文本生成和理解能力。但你是否好奇过，这些强大的模型内部究竟是如何工作的？今天，我们将深入解读一本备受期待的著作——《从零构建大语言模型》（Build a Large Language Model From Scratch），这本书由知名AI研究员塞巴斯蒂安·拉施卡（Sebastian Raschka）撰写，带你从概念到原理，彻底理解LLM的每一个细节。

一、LLM基础：什么是大语言模型？

大语言模型是一种深度神经网络，专门设计用于理解、生成和响应人类语言。这些模型在海量文本数据上训练，有时甚至涵盖了互联网上公开可用的绝大部分文本。

“大”体现在两个层面：

• 模型规模：拥有数十亿甚至数千亿个可调整的参数（权重）

• 训练数据量：庞大的文本数据集，如GPT-3使用了约3000亿个词元

LLM的核心任务是预测下一个词——这个看似简单的任务，却能产生令人惊叹的智能涌现能力。模型通过“自监督学习”方式，从文本本身自动生成训练标签，无需人工标注。

传统模型与现代LLM的对比

在LLM出现之前，自然语言处理主要依赖传统方法。这些方法在分类任务（如垃圾邮件识别）上表现出色，但面对需要深度理解和生成能力的任务（如根据关键词撰写邮件、进行上下文分析）时，往往力不从心。

现代LLM则实现了质的飞跃：它们不仅能完成翻译、摘要、问答等广泛任务，还展现出一种被称为“涌现行为”的特性——能够执行模型从未被明确训练过的任务，例如从主要训练文本生成的任务中“学会”翻译。

二、LLM的构建与使用：两阶段训练法

创建一个可用的LLM通常分为两大阶段：

第一阶段：预训练

• 在无标签的大规模文本语料上进行训练

• 任务目标：预测句子中的下一个词

• 产出成果：基础模型或基石模型（如GPT-3）

第二阶段：微调

• 在带标签的小规模数据集上进一步训练

• 两大主流方向：

• 指令微调：学习回答问题和遵循人类指令

• 分类微调：执行特定分类任务（如情感分析）

成本参考：GPT-3的预训练成本估计约460万美元。好消息是，如今我们可以直接使用开源预训练模型权重，完全跳过昂贵的预训练阶段。

三、Transformer架构与GPT：从翻译器到文本生成器

原始Transformer架构

Transformer架构由两大子模块组成：

• 编码器：处理输入文本，将其编码为捕捉上下文信息的数值向量

• 解码器：接收这些向量，逐词生成输出文本

原始Transformer是为机器翻译设计的，其中自注意力机制是核心——它允许模型在生成每个词时，选择性关注输入序列的不同部分。

GPT架构的独特之处

GPT（生成式预训练Transformer）采取了与原始Transformer不同的路径：

• 仅使用解码器部分，进行单向、从左到右的处理

• 属于自回归模型：每次输出的结果作为下一步的输入

• 训练任务仅为预测下一个词

令人惊讶的是，尽管训练目标如此简单，GPT模型却能“涌现”出翻译、分类、摘要等能力。GPT-3拥有96个Transformer层和1750亿参数，相比原始Transformer（6层编码器+6层解码器）规模扩大了数十倍。

四、文本数据处理：从原始文本到数值向量

神经网络无法直接处理原始文本——文本是离散的、类别的，而神经网络的数学运算需要连续数值。因此，我们需要将文本转换为数值向量，这个过程称为嵌入。

步骤一：分词

将输入文本分割成独立的词元——可以是单词，也可以是标点符号等特殊字符。例如，“Hello, world.”会被分割为“Hello”、“,”、“world”、“.”四个词元。

步骤二：构建词汇表并转换为词元ID

收集文本中所有唯一的词元，排序后为每个词元分配一个唯一的整数ID，形成词汇表。训练时，每个词元就通过查表转换为对应的整数ID。

步骤三：字节对编码

GPT-2、GPT-3等模型使用了一种更高级的分词方法——字节对编码。它的词汇表大小为50,257。BPE的最大优势在于：能够处理任何未知单词，将其分解为更小的子词单元甚至单个字符，因此无需使用<UNK>未知词标记。

步骤四：数据采样——滑动窗口

为了训练模型预测下一个词，我们需要创建输入-目标对：

• 输入：连续的若干个词元

• 目标：输入序列向后偏移一位的结果

通过设置“步长”参数，我们可以在整个文本上滑动窗口，生成大量训练样本。

步骤五：创建词元嵌入

每个词元ID通过嵌入层（本质是一个查找表）转换为一个稠密向量。在GPT-2的最小版本中，每个词元被表示为768维的向量；而在最大的GPT-3中，这个维度高达12,288。

步骤六：添加位置信息

自注意力机制本身是位置无关的——它不会自动知道“第一个词”和“第二个词”的顺序。因此，我们需要注入位置信息。GPT使用绝对位置嵌入：为每个可能的位置（0,1,2,...）学习一个与词元嵌入同维度的向量，然后将其加到词元嵌入上。

五、注意力机制：LLM的智慧核心

注意力机制是整个LLM的心脏。它允许模型在处理每个词元时，有选择地关注输入序列中所有其他词元，从而捕获长距离依赖关系。

自注意力的工作原理

第一步：计算注意力分数

• 选定一个“查询”词元（比如句子中的第二个词）

• 计算该查询与所有词元的点积（点积越大，表示两个向量越相似）

• 得到一组分数，衡量每个词元与查询的相关性

第二步：归一化得到注意力权重

• 使用softmax函数将分数转换为概率分布（所有权重之和为1）

• 权重越高，表示该词元越重要

第三步：计算上下文向量

• 将每个词元的向量乘以对应的注意力权重

• 将所有加权后的向量求和

• 结果是一个融合了所有输入信息的“增强”表示

带训练权重的自注意力（缩放点积注意力）

为了让模型能从数据中学习，我们引入了三个可训练的权重矩阵：W_q、W_k、W_v。它们分别将输入词元投影为：

• 查询：用于与其他词元比较

• 键：用于被查询匹配

• 值：实际携带信息的内容

注意力分数的计算变为：Q·K^T / √d_k。除以嵌入维度的平方根是为了防止分数过大导致梯度消失。这种机制也因此得名“缩放点积注意力”。

因果注意力：让模型只看到过去

对于文本生成模型，我们需要确保模型在预测下一个词时，不能“偷看”未来的词元。这通过因果注意力掩码实现：

• 创建一个上三角掩码矩阵

• 将未来位置的注意力分数设为负无穷

• 经过softmax后，这些位置的权重变为0

这样，每个位置只能关注到它自身及之前的词元。

多头注意力：多角度理解

单个注意力头可能只能捕捉一种关系模式。多头注意力并行运行多个独立的注意力头，每个头学习不同的特征子空间。最后将所有头的输出拼接在一起。在最小的GPT-2模型中，有12个注意力头；最大的GPT-2则有25个头。

六、GPT模型的完整架构

核心组件

层归一化

• 使每一层输出的均值为0、方差为1

• 稳定训练过程，防止梯度消失或爆炸

• GPT采用的是“前置层归一化”（在注意力或前馈网络之前进行归一化）

前馈网络

• 由两个线性变换层和一个激活函数组成

• 先将嵌入维度扩展4倍（如768 → 3072），再压缩回原维度

• 使用GELU激活函数（高斯误差线性单元），它比传统的ReLU更平滑，对负数输入也有微小的非零输出，有助于梯度流动

残差连接（也称为跳跃连接或捷径连接）

• 将层的输入直接加到输出上

• 为梯度提供一条“高速公路”，有效缓解深层网络中的梯度消失问题

• 是大规模深度模型能够成功训练的关键

Transformer块

• 组合了：多头注意力 → 层归一化 → 残差连接 → 前馈网络 → 层归一化 → 残差连接

• 输入和输出维度完全相同，因此可以堆叠多层

• 124M参数的GPT-2堆叠了12层，最大版本堆叠了48层

模型规模与参数

有趣的是，原始GPT-2使用了权重共享技术——将词元嵌入层的权重复用于输出层，因此实际可训练参数减少了约3800万。存储124M模型约需622 MB空间。

七、预训练：让模型从零学会说话

如何评估模型好坏？

在训练过程中，我们需要一个数值指标来衡量模型生成的文本质量。这就是交叉熵损失。

简单来说，交叉熵损失测量的是：模型预测的概率分布与真实下一个词之间的差距。训练的目标就是让这个损失值不断降低——理想情况下趋近于0。

另一个常用的指标是困惑度（损失值的指数）。它表示模型在每个位置不确定的有效词汇量大小。例如，困惑度47,678意味着模型不确定应该从约4.7万个词中选哪一个作为下一个词。

训练循环

训练过程遵循经典的深度学习模式：

1. 将输入词元送入模型，得到预测logits

2. 计算预测与真实目标之间的损失

3. 清空之前的梯度

4. 反向传播计算梯度

5. 更新模型权重

让生成更有创意：解码策略

标准的贪心解码（每次都选概率最高的词）虽然稳定，但容易导致重复和缺乏创造性。为了增加多样性，可以引入两种技术：

温度缩放

• 将logits除以一个温度值T

• T>1：概率分布更均匀，增加随机性

• T<1：概率分布更尖锐，更确定性

• T=0.1时行为接近贪心解码，T=5时几乎完全随机

Top-k采样

• 只保留概率最高的k个词元

• 其余词元的概率设为0

• 结合温度缩放，可以在创造性和合理性之间取得平衡

保存与加载

训练好的模型可以保存为状态字典（state_dict），后续直接加载使用，无需重新训练。如果计划继续训练，建议同时保存优化器的状态。

加载OpenAI预训练权重

OpenAI公开了GPT-2系列模型的权重。我们可以通过下载脚本获取这些权重，然后映射到我们自己实现的GPT模型类中。这使得我们能够立即拥有一个具备基本语言能力的模型，为后续微调做好准备。

八、PyTorch基础速览

本书的代码实现基于PyTorch深度学习框架。以下是核心概念概览：

张量：PyTorch中的基本数据结构，可以看作是能运行在GPU上的多维数组。0维是标量，1维是向量，2维是矩阵，更高维仍称为张量。

自动微分：PyTorch会自动构建计算图，并计算每个参数相对于损失的梯度。开发者只需调用loss.backward()，所有梯度便自动计算完毕。

神经网络模块：通过继承nn.Module并实现__init__（定义层）和forward（定义前向计算）来构建自定义模型。

数据加载：Dataset类定义如何获取单个样本，DataLoader类负责批处理、打乱和并行加载。

GPU加速：使用.to(device)将张量和模型移到GPU上。多GPU训练可使用DistributedDataParallel实现分布式训练。

九、高级训练技巧

为了获得更好的训练效果，可以加入以下高级技巧：

学习率预热

• 从非常小的学习率开始，在前若干步逐渐增加到峰值

• 防止训练初期因学习率过大导致不稳定

余弦衰减

• 达到峰值学习率后，按余弦曲线逐渐衰减到接近0

• 帮助模型平稳收敛到损失最小值

梯度裁剪

• 限制梯度的最大范数

• 防止梯度爆炸破坏训练

这些技巧结合在一起，可以显著提升LLM训练的稳定性和最终效果。

十、为什么值得从零实现？

通过从零构建一个GPT模型，你将获得：

1. 深入理解机理：不再把LLM当作黑盒，而是透彻理解每个组件的作用

2. 掌握定制能力：能够针对特定领域（如金融、医疗）预训练或微调自己的模型

3. 跟上前沿：理解GPT-2就足以掌握后续Llama等模型的核心思想（它们仅做了少量改进）

研究表明，定制化的LLM在特定任务上可以大幅超越通用LLM。例如，BloombergGPT（金融领域专用）和针对医疗问答微调的模型，都在各自领域取得了优异表现。

下一步方向：

• 对预训练模型进行分类任务微调

• 通过人类反馈进行指令微调，打造类似ChatGPT的对话助手

本文总结自塞巴斯蒂安·拉施卡的《从零构建大语言模型》（Manning Publications, 2024）。这本书通过详细的步骤讲解和丰富的图解，带你真正理解LLM的每一个细节。无论你是AI研究者、工程师，还是对LLM充满好奇的学习者，这本书都是一份不可多得的实践指南。

现在，你已经掌握了从零构建GPT所需的所有核心概念。接下来，就看你如何将这些知识付诸实践了！

【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）