ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

从Hinton演讲出发:深度学习、Transformer与大语言模型学习路径

从Hinton演讲出发:深度学习、Transformer与大语言模型学习路径

1. 从一场演讲说起:为什么"理解语言"这件事值得反复琢磨

Geoffrey Hinton 在皇家研究院的那场演讲,我前前后后看了三遍。第一遍看热闹,第二遍看逻辑,第三遍才真正意识到他讲的不是"深度学习有多强",而是在回答一个更根本的问题:一台机器到底要怎么才能"懂"一句话?这个问题听起来很哲学,但落到工程上,它其实是一连串非常具体的设计选择——词怎么表示、上下文怎么建模、梯度怎么传、模型怎么从数据里把规律抠出来。

很多人学深度学习是从"调包"开始的:装好环境,跑通一个 Transformer 的 demo,看到 loss 往下掉就觉得自己会了。但真到了要改结构、要排查不收敛、要解释模型为什么输出这个结果的时候,就卡住了。原因很简单——你跳过了"为什么这样设计"这一步。Hinton 的演讲价值就在于,他把这些设计背后的直觉讲清楚了,而这些直觉恰恰是你在看论文、读源码、调参时最需要的东西。

这篇内容我打算做一件事:把 Hinton 演讲里涉及的核心线索——深度学习、Transformer、反向传播、大语言模型、神经网络——拆成一条能落地的学习路径。不是复述演讲,而是把演讲里那些"点到为止"的地方补全成可操作的细节。适合谁看?如果你已经能跑通一个简单的神经网络,但对"语言模型到底怎么工作的"还停留在模糊印象,那这篇就是写给你的。如果你是完全的新手,也没关系,我会用生活化的类比把关键概念讲透,再给出手写代码的路径。

先说一个我自己的观察:大部分人学深度学习失败,不是因为数学太难,而是因为顺序错了。一上来就啃 Transformer 的注意力公式,结果连反向传播在干什么都没搞明白,自然越看越懵。正确的顺序应该是:先理解神经网络怎么"学"(反向传播),再理解怎么处理序列(从 RNN 到注意力),最后才是 Transformer 和大语言模型。Hinton 的演讲基本也是这个逻辑,只不过他讲得更快、更浓缩。

2. 反向传播:神经网络"学习"这件事的底层引擎

2.1 用"追责"的类比理解梯度回传

反向传播这个词听起来很唬人,但它的本质特别朴素:一个预测错了,到底是谁的责任?想象一条流水线,五个工人依次加工一个零件,最后质检发现不合格。你要追责,不能只骂最后一个工人,得从后往前一层层看:最后一道工序偏差多大、前一道工序贡献了多少、再往前又是谁的问题。反向传播干的就是这件事,只不过"工人"换成了网络里的每一层,"责任"换成了每个参数对最终误差的贡献,也就是梯度。

具体来说,前向传播时,输入数据一层层往前算,每层都留下中间结果;到了输出层,拿预测值和真实值算出一个损失(loss)。反向传播时,从这个 loss 出发,用链式法则一层层往回求导,算出每个权重"如果稍微变一点,loss 会怎么变"。这个"怎么变"就是梯度。有了梯度,梯度下降才能告诉每个权重:你该往哪个方向调、调多少。

这里有个很多人忽略的点:反向传播本身不是学习算法,它只是高效计算梯度的方法。真正让网络"学"的是梯度下降(以及它的各种变体,比如 Adam)。反向传播负责算,梯度下降负责改。把这两个混为一谈,是初学者最常见的概念混淆之一。

2.2 手推一个两层网络的反向传播

光说概念不够,我们拿一个最小的例子走一遍。假设一个两层网络:输入 x,第一层权重 W1、偏置 b1,激活函数 ReLU;第二层权重 W2、偏置 b2,输出一个标量,损失用均方误差。

前向过程:

# 前向传播(伪代码,便于理解) z1 = x @ W1 + b1 a1 = relu(z1) z2 = a1 @ W2 + b2 loss = 0.5 * (z2 - y) ** 2

反向过程,从 loss 往回:

# 反向传播 d_loss_z2 = (z2 - y) # loss 对 z2 的梯度 d_loss_W2 = a1.T @ d_loss_z2 # loss 对 W2 的梯度 d_loss_b2 = d_loss_z2 d_loss_a1 = d_loss_z2 @ W2.T # 梯度传回第一层 d_loss_z1 = d_loss_a1 * (z1 > 0) # ReLU 的导数,正数处为1,否则为0 d_loss_W1 = x.T @ d_loss_z1 d_loss_b1 = d_loss_z1

看到那个(z1 > 0)了吗?这就是 ReLU 的导数。ReLU 在负数区域梯度为 0,这意味着如果某个神经元的输入长期是负的,它的梯度永远是 0,权重永远不更新——这就是著名的"神经元死亡"问题。很多人训练网络时发现某些层完全没学到东西,八成就是踩了这个坑。解决办法通常是换用 LeakyReLU 或者 GELU,或者调小学习率。

2.3 反向传播里最容易踩的三个坑

第一个坑是梯度消失和梯度爆炸。当网络很深时,梯度在回传过程中会连乘很多项。如果这些项都小于 1,梯度会指数级衰减到几乎为 0(消失);如果都大于 1,就会指数级放大(爆炸)。这也是为什么早期深层网络训不动,直到残差连接(ResNet)出现才缓解——残差连接给梯度提供了一条"高速公路",让它能直接传到底层。

第二个坑是忘记清零梯度。在 PyTorch 里,梯度是累加的,如果你不在每个 batch 前调用optimizer.zero_grad(),梯度会一直叠加,训练直接崩掉。这个错误新手几乎人人踩过,而且报错信息往往很隐晦,表现为 loss 不降反升。

第三个坑是在错误的维度上求和。手写反向传播时,矩阵的转置、求和维度特别容易搞错。我的经验是:永远用数值梯度校验。写一个小函数,对某个参数加一个极小的 epsilon,看 loss 的变化,再和解析梯度对比,误差在 1e-6 量级就说明推导对了。这个习惯能帮你省下大量 debug 时间。

提示:如果你在学吴恩达的深度学习课后题,反向传播那几道编程题一定要自己手推一遍,不要直接抄答案。手推过的人和没推过的人,后面看 Transformer 源码时的理解速度完全不是一个量级。

3. 从词到向量:语言是怎么变成神经网络能吃的"数字"的

3.1 词嵌入:把"意思"塞进一串数字

神经网络只会算数,不会读字。所以第一步必须把词变成向量,这个过程叫词嵌入(word embedding)。最早的做法是 one-hot 编码:词表有 5 万个词,每个词就是一个 5 万维的向量,只有对应位置是 1,其余是 0。问题是这种表示完全没有"语义"——"猫"和"狗"的向量内积是 0,和"汽车"也是 0,机器根本不知道它们有关系。

词嵌入的核心思想是:一个词的意思,由它经常一起出现的词决定。这就是分布假说。Word2Vec、GloVe 这些方法通过大量语料统计共现关系,把每个词映射到一个几百维的稠密向量里。神奇的是,这样学出来的向量居然有语义结构:king - man + woman ≈ queen。这不是人设计的,是从数据里自己冒出来的。

到了 Transformer 时代,词嵌入依然是第一步,但多了一个关键补充:位置编码。因为注意力机制本身不关心顺序,"我打你"和"你打我"在它眼里是一样的,所以必须额外把位置信息加进去。原始 Transformer 用的是正弦余弦函数,现在很多模型改用可学习的位置嵌入或者旋转位置编码(RoPE)。

3.2 注意力机制:让每个词"看"到所有其他词

注意力机制是 Transformer 的灵魂,也是 Hinton 演讲里重点讲的部分。它的直觉是:理解一个词,需要参考句子里所有其他词,但参考的权重不一样。

举个例子:"小明把书放在了桌子上,因为它太重了。"这里的"它"指什么?人一眼就知道指"书"(因为书重,桌子不会因为自己重而放不上去)。注意力机制要做的就是让"它"这个词去"查询"句子里所有词,算出和每个词的相关性,然后按相关性加权汇总信息。相关性高的词(书)贡献大,相关性低的(小明)贡献小。

技术上,每个词会生成三个向量:Query(我在找什么)、Key(我是什么)、Value(我有什么信息)。用 Query 和所有词的 Key 做点积,得到注意力分数,softmax 归一化后,再对 Value 加权求和。写成公式就是:

# 缩放点积注意力(核心逻辑) scores = Q @ K.T / sqrt(d_k) # d_k 是 Key 的维度 weights = softmax(scores, dim=-1) output = weights @ V

为什么要除以sqrt(d_k)?因为当维度很大时,点积的结果会很大,softmax 之后会变得极端(接近 one-hot),梯度就消失了。除以维度的平方根能把数值拉回合理范围,让 softmax 的输出更平滑。这个细节很多人背公式时记住了,但不知道为什么要这么做,面试被问到就露馅。

3.3 多头注意力:一个视角不够,那就多来几个

单个注意力只能捕捉一种关系模式。但语言里的关系是多样的:有语法依赖、有指代关系、有语义相似。多头注意力就是并行跑好几组注意力,每组有自己的 Q、K、V 投影矩阵,最后把结果拼接起来再投影一次。

你可以把它理解成:一个团队里有人负责看语法,有人负责看语义,有人负责看位置,最后大家开会汇总意见。头数一般取 8 或 16,每个头的维度是总维度除以头数,这样总计算量基本不变。

我实测下来有个经验:头数不是越多越好。头太多,每个头的维度太小,表达能力反而下降。而且有些头在训练后会"退化",学到的东西几乎一样,等于浪费。有论文专门研究过注意力头剪枝,发现砍掉一部分头对性能影响很小。所以如果你在做一个资源受限的项目,可以大胆尝试减少头数。

4. Transformer 架构:把注意力堆起来会发生什么

4.1 编码器-解码器的分工

原始 Transformer 是为机器翻译设计的,结构上分编码器和解码器两半。编码器负责"读懂"源语言句子,解码器负责"生成"目标语言句子。每一半都是由多个相同的层堆叠而成,每层里包含注意力子层和前馈网络子层,每个子层后面都跟着残差连接和层归一化。

残差连接的作用前面提过,是给梯度修高速。层归一化则是把每个样本的特征归一化到均值 0、方差 1,让训练更稳定。这里有个容易搞混的点:LayerNorm 和 BatchNorm 不一样。BatchNorm 是在 batch 维度上归一化,对 batch 大小敏感,在序列任务里效果不好;LayerNorm 是在特征维度上归一化,和 batch 大小无关,所以 Transformer 用的是 LayerNorm。

前馈网络子层看起来平平无奇,就是两个线性层夹一个激活函数,但它的参数量往往占了整个模型的一大半。它的作用是对注意力汇总来的信息做一次非线性变换,增加模型的表达能力。现在很多大模型把这里的激活函数从 ReLU 换成了 GELU 或 SwiGLU,效果更好。

4.2 为什么 Transformer 能取代 RNN

在 Transformer 之前,处理序列的主流是 RNN 和 LSTM。它们按顺序一个词一个词地处理,天然适合序列,但有两个致命问题:一是慢,因为必须串行,没法并行;二是长距离依赖难,信息要一步步传过来,传着传着就丢了。

Transformer 的注意力机制让任意两个位置直接相连,距离都是 1,彻底解决了长距离依赖问题。而且所有位置的注意力可以并行计算,训练速度大幅提升。这就是为什么 Transformer 能scale到今天的规模——它天生适合并行,而 GPU 最擅长的就是并行。

不过 Transformer 也不是没有代价。注意力的计算复杂度是序列长度的平方,序列一长,显存和计算量就爆炸。这也是为什么后来出现了各种高效注意力变体,比如 Swin Transformer 用窗口注意力把复杂度降下来,专门用于视觉任务。如果你要做长文本或者高分辨率图像,这些变体是绕不开的。

4.3 从零手写一个迷你 Transformer 的关键步骤

光看论文容易飘,我建议你至少手写一次迷你版。下面是我自己写的时候总结的关键步骤,按顺序来:

  1. 实现缩放点积注意力:先写单头版本,确保 Q、K、V 的维度对得上,softmax 的维度别搞错(是在最后一维)。
  2. 实现多头注意力:把输入投影成多组 Q、K、V,注意 reshape 和 transpose 的顺序,这里最容易出错。写完后用一个小例子验证输出形状。
  3. 实现前馈网络:两个线性层加激活,注意中间层的维度通常是输入的四倍。
  4. 组装编码器层:注意力 + 残差 + LayerNorm,前馈 + 残差 + LayerNorm。顺序上原始论文是 Post-LN(归一化在后面),现在很多模型用 Pre-LN(归一化在前面),训练更稳定。
  5. 堆叠多层:一般 6 层起步,做 demo 的话 2 层也能看出效果。
  6. 加位置编码:正弦余弦或者可学习都行,加到词嵌入上。
  7. 写训练循环:定义损失(分类用交叉熵,生成用交叉熵),优化器用 Adam,学习率加 warmup。

写完跑通一个简单的任务,比如序列复制或者小规模翻译,你会对 Transformer 的理解上一个台阶。手写一遍胜过看十遍论文,这句话在 Transformer 上尤其成立。

5. 大语言模型:当 Transformer 大到一定程度

5.1 规模带来的"涌现"能力

大语言模型本质上就是超大规模的 Transformer 解码器,在海量文本上做"预测下一个词"的训练。听起来很简单,但当你把参数量堆到几十亿、几百亿,把数据堆到万亿 token 级别,神奇的事情发生了:模型开始表现出训练目标里没有明确教过的能力,比如推理、翻译、写代码、做数学题。这种现象叫涌现(emergence)。

Hinton 在演讲里对这一点特别着迷,因为他认为这说明模型不只是"死记硬背",而是真的学到了某种结构。当然,这个观点在学界有争议,但不可否认的是,规模确实带来了质变。这也是为什么这几年大家拼命堆算力——因为谁也不知道下一个能力会在哪个规模上冒出来。

5.2 本地部署大语言模型的现实考量

热搜里"本地部署大语言模型"这个词很火,我来说点实在的。本地部署的核心动机通常是数据隐私、离线可用、或者纯粹想折腾。但你要清楚几个现实:

第一,显存是硬门槛。一个 70 亿参数的模型,用 FP16 存储大概需要 14GB 显存,加上推理时的 KV Cache,实际需求更高。消费级显卡 24GB 显存能跑 7B 到 13B 的量化版本,再大就吃力了。

第二,量化是必选项。把权重从 FP16 压到 INT8 或 INT4,显存需求能降到三分之一甚至四分之一,代价是精度略有损失。实测下来,INT4 量化的 7B 模型在日常对话任务上表现还不错,但复杂推理会打折扣。

第三,推理框架的选择很关键。不同的框架在速度和显存占用上差别很大,选对了能省不少事。我一般会先看社区活跃度和文档质量,再看它支持哪些量化格式。

注意:本地部署不是把模型下载下来就完事,你还得考虑上下文长度、批处理大小、是否用 GPU 加速等一堆参数。建议先用小模型跑通流程,再逐步换大模型。

5.3 配置参数为什么常用 YAML

热搜里有个问题问"大语言模型是不是主流用 YAML 提供配置参数",答案是:相当主流,但不是唯一。YAML 的好处是可读性强、支持嵌套、注释方便,适合管理模型结构、训练超参、数据路径这类层级化的配置。相比 JSON,它没有那么多括号和引号,写起来清爽;相比 Python 字典,它和代码解耦,改配置不用动代码。

但 YAML 也有坑:缩进敏感,多一个空格少一个空格都可能报错,而且报错信息经常不直观。我的经验是,写完 YAML 先用解析器验证一遍,别等到训练跑起来才发现配置读错了。另外,复杂的动态配置(比如根据条件切换模块)用 YAML 会很别扭,这时候用 Python 配置或者 Hydra 这类工具更合适。

6. 数字智能会不会超越人类:一个工程师的务实视角

Hinton 演讲最后抛出的那个判断——数字智能终将超越人类——是整场最抓眼球的部分。他的论证大致是:数字智能有几个人类不具备的优势。一是知识可以瞬间复制,一个模型训练好了,复制一万份就是一万个专家,而人类培养一个专家要二十年。二是可以无限并行,成千上万个副本同时工作、互相交换梯度。三是不会遗忘,权重存下来就是存下来了,不像人脑会衰退。

作为工程师,我不想陷入"会不会超越""什么时候超越"这种预测,因为没人能准确预测。我更关心的是:这些特性对当下的技术选择意味着什么。比如"知识可复制"意味着模型蒸馏和微调特别有价值——你可以用一个大模型教一个小模型,把能力压缩下来。"可并行"意味着分布式训练和推理优化是长期刚需。"不遗忘"则提醒我们,灾难性遗忘是当前模型微调时的大问题,需要专门的技术(如 LoRA、经验回放)来缓解。

从实操角度,我建议大家把注意力放在能落地的能力上:怎么让模型在你的业务数据上表现更好、怎么降低推理成本、怎么评估模型输出是否可靠。这些问题的答案,比"会不会超越人类"更能影响你的项目成败。

7. 一条能走通的学习路径和我踩过的坑

最后说说学习路径。我自己走过不少弯路,总结下来最有效的一条是:

第一阶段,把反向传播手推一遍,用 numpy 写一个两层网络识别手写数字。不要用框架,就纯 numpy,逼自己理解每个矩阵运算。这一步大概花一周。

第二阶段,用 PyTorch 复现一个 CNN,在 CIFAR-10 上训练到 80% 以上准确率。这一步的目的是熟悉框架、数据加载、训练循环、调参。遇到 loss 不降,就按"学习率、数据、梯度、初始化"的顺序排查。

第三阶段,手写迷你 Transformer,跑一个序列任务。这一步最难,但收获最大。写完你会对注意力、残差、归一化的作用有肌肉记忆。

第四阶段,微调一个开源大语言模型,用 LoRA 在你自己的数据上做指令微调。这一步能让你接触到真实的大模型工程。

我踩过的坑里,最典型的是过早追求大模型。一开始就想训个大的,结果数据不够、算力不够、调参不会,白白浪费时间。后来才明白,小模型跑通了,大模型只是规模问题;小模型没跑通,大模型只会放大你的错误。另一个坑是忽视数据质量。模型再牛,喂进去的是垃圾,出来的也是垃圾。清洗数据、构造高质量样本,往往比换模型结构更能提升效果。

还有一个心得:别怕看源码。HuggingFace 的 Transformers 库源码其实写得很清楚,从 modeling 文件入手,对照论文看,看不懂的地方就打断点跑一遍。看多了你会发现,很多"高深"的模型,拆开来看就是几个基本模块的排列组合。这个认知一旦建立,你学任何新模型都会快很多。

深度学习这个领域变化快,但底层的东西——反向传播、注意力、梯度下降——几年都没怎么变。把底层吃透,上层的新东西都是水到渠成。Hinton 的演讲之所以值得反复看,就是因为它讲的正是这些不变的东西。

返回列表