1. 先把标题拆开:这份作业到底在练什么
C2_W2 这个编号,在不少人的学习笔记里都出现过,它指向某门经典深度学习公开课第二课第二周的课后作业。整份作业的英文原版要求你用 NumPy 从零手写几种优化算法,我把整份内容搬到了 PyTorch 上,用中英对照的双语注释重写了一遍,核心关键词就是 C2_W2、PyTorch、中英对照、优化算法。它练的不是"调包",而是把 Mini-batch 梯度下降、Momentum、RMSprop、Adam、学习率衰减这几个东西的内部更新公式一行一行敲出来,再拿同一个浅层网络跑对照实验,看谁的收敛曲线更好看。
这件事解决了一个很实际的问题:绝大多数人用torch.optim.Adam(model.parameters())用了一两年,却说不清betas=(0.9, 0.999)这两个数分别控制什么、eps到底是干嘛的、为什么 Adam 在训练初期会"冲"得特别猛。这份作业逼着我把这些参数一个个手写实现,写完再看官方实现,会有一瞬间的"哦原来就这点东西"。
适合谁看:正在刷这门课、被 NumPy 版作业卡住的人;已经会用 PyTorch 但想搞懂优化器内部机制的中级使用者;以及想拿一份可跑通的中英对照代码当模板的新手。前置要求不高,知道梯度下降的基本形式、会写几行 PyTorch 的nn.Module,剩下的都能边看边补。
1.1 C2_W2 对应的知识地图
这一周的作业主线非常集中,就是"让梯度下降跑得更快更稳"。原版作业里给了一个三层全连接的二分类网络,输入是打平后的图像向量,输出一个概率,损失用二元交叉熵。真正的教学点全在"参数更新那一步怎么写"。
我把整份作业的知识点摊开成这几块:mini-batch 切分逻辑(怎么打乱、怎么补最后一个不满的 batch)、指数加权平均与偏差修正(这是 Momentum 和 Adam 共同的数学地基)、Momentum 的一阶动量、RMSprop 的二阶动量、Adam 把两者合体、以及按 epoch 做时间衰减的学习率策略。这六块是有依赖关系的,指数加权平均看不懂,后面三个优化器就全是背公式。
我个人的建议是别跳过第 3.2 节那种"手推温度序列"的小练习。听起来很幼稚,但它是唯一能让你直观感受 β=0.9 到底等于"平均了多少天的数据"的方式——答案是大约 1/(1-0.9)=10 天。这个换算关系记住了,后面调betas就不会瞎试。
1.2 为什么值得用 PyTorch 重写一遍
原版用 NumPy,好处是纯粹,坏处是你会花大量时间在np.zeros_like、转置方向、np.squeeze这些跟算法本身无关的地方。用 PyTorch 重写的理由有三个,我按重要性排一下。
第一是张量方向和自动求导省事。NumPy 版里你得手动写linear_activation_backward,六层链式法则写下来极容易错,而错一行就是"loss 不降"这种没有信息量的报错。PyTorch 里loss.backward()一把梭,我可以把全部注意力放在优化算法本身。第二是能直接对着torch.optim的官方实现做数值比对,手写版本算出的参数和torch.optim.Adam差多少,一眼就能看出来,这是最好的验证手段。第三是双语注释在 PyTorch 语境下更自然,因为 PyTorch 社区的文档词汇(如param_groups、state_dict)本身就是英文,对照着写不容易产生歧义。
注意:用 PyTorch 重写不代表可以跳过 NumPy 版。反向传播那部分我建议还是老老实实用 NumPy 写一遍,否则你对"梯度是怎么来的"会一直有层雾。我自己的做法是 NumPy 版写正向和反向,PyTorch 版只替换优化器部分,两边对拍数值。
2. 环境、数据与目录组织
动手之前先把两件事定死:张量方向和数据归一化。这两件事没定好,后面 90% 的诡异 bug 都从这儿来。
2.1 数据形态与张量方向的约定
原版作业的约定是X形状为(n_x, m),也就是特征在前、样本在后,Y是(1, m)。这是 NumPy 时代的习惯,跟 PyTorch 的(batch, feature)正好相反。我在重写时做了一件事:内部实现全部沿用原作业的列向量约定,只在模型入口处转置。这样代码和课程讲义能一行一行对上,看讲义的时候不用在脑子里做转置。
代价是多写两行.T,收益是调试时不会精神分裂。具体做法是在Dataset封装里负责转换,训练循环里拿到的一律是(n_x, batch_size)。
数据本身是课程提供的二分类图像数据集,每张图被拉平成向量,维度是 64×64×3=12288。样本量不大,训练集几千条量级。这个小样本量很关键,它直接决定了后面 Adam 会过拟合——不是算法的问题,是数据太少。
2.2 目录结构与可复现性配置
我的目录长这样:data/放原始数据,optim/放四个手写优化器,train.py是主入口,compare.py专门跑对照实验并画曲线,notes/里放双语对照的公式推导。分成optim/单独一个包而不是全塞进一个文件,是因为我想让每个优化器都能被单独 import 出来做单元测试。
可复现性这块踩过坑,说三个必须固定的东西:torch.manual_seed、torch.Generator(mini-batch 打乱用独立 generator,不要污染全局随机状态)、以及 DataLoader 的worker_init_fn(如果你用多进程)。我一开始只设了全局种子,结果每次跑出来曲线都有细微差别,排查了半天才发现是torch.randperm用的是全局状态,而我在中间插了一句别的随机操作打乱了序列。
import torch SEED = 42 torch.manual_seed(SEED) torch.cuda.manual_seed_all(SEED) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False提示:
cudnn.deterministic=True会掉性能,但在做算法对照实验时值得。你要比较的是 Momentum 和 Adam 的差别,不是随机噪声的差别。
3. 优化算法逐个落地
这一章是全文的重心。我按照依赖顺序写:先 mini-batch,再指数加权平均,然后三个优化器,最后学习率衰减。每段代码都配双语注释,注释风格是上英文原式、下中文意图。
3.1 Mini-batch 切分:把整批数据剁成小块
Mini-batch 的本质是把"一次看全部数据算一个梯度"改成"一次看一小撮数据算一个梯度"。好处有两个:单步计算量下降,以及梯度的随机噪声本身有正则化效果。坏处是噪声会让 loss 曲线不那么平滑,以及最后一个不满的 batch 会引入额外噪声。
原版作业在最后那个 batch 上做了一个细节:如果剩余样本数小于 batch_size,会从打乱后的序列头部补足到 batch_size,而不是留一个小的。这个设计有点反直觉,我一开始觉得是 bug,后来理解是为了让每个 batch 形状一致,避免某些框架在形状变化时出问题。在 PyTorch 里其实不需要这么做,动态形状完全支持,所以我保留了"最后一个小 batch"的做法,并在注释里说明了这个差异。
import math import torch def random_mini_batches(X, Y, batch_size=64, seed=0): """ X: (n_x, m) Y: (1, m) -- 沿用原作业的列向量约定 EN: shuffle then slice; the tail batch is kept as-is CN: 先整体打乱再切片,尾部不足一个 batch 的直接保留 """ g = torch.Generator().manual_seed(seed) m = X.shape[1] perm = torch.randperm(m, generator=g) X_s, Y_s = X[:, perm], Y[:, perm] n_complete = m // batch_size batches = [] for k in range(n_complete): sl = slice(k * batch_size, (k + 1) * batch_size) batches.append((X_s[:, sl], Y_s[:, sl])) if m % batch_size != 0: sl = slice(n_complete * batch_size, m) batches.append((X_s[:, sl], Y_s[:, sl])) return batchesbatch_size 怎么选?我试过 16、32、64、128、256 五档。64 是这个数据集上的甜点:再小梯度噪声太大,Adam 尤其容易抖;再大单 epoch 的更新次数掉得厉害,在训练轮数受限的情况下收敛反而慢。经验公式是让每个 epoch 有 30 到 100 次更新比较舒服,样本几千条,64 正好落在这个区间。
注意:
torch.randperm每次调用都会推进 generator 状态,所以同一个 seed 下,第 2 个 epoch 的批次顺序和第 1 个不同——这是期望行为。但如果你在每个 epoch 都重新manual_seed,那就变成每个 epoch 顺序一模一样,mini-batch 的随机性直接没了,这是个很隐蔽的错。
3.2 指数加权平均与偏差修正
这块是地基。指数加权平均的递推式只有一行:v = β·v + (1-β)·θ。它的物理含义是"给越久远的数据越小的权重,权重按 β 的幂次衰减"。β=0.9 意味着当前值占 10%,前一天占 9%,再前一天占 8.1%,累加起来的"有效窗口"大约是 10 天。
偏差修正解决的是"从零起步"的问题。v 初值是 0,第一步算出来v_1 = 0.1·θ_1,这明显偏小,只有真实值的十分之一。修正的办法是除以1-β^t,t 是步数。第 1 步除 0.1,正好还原;第 10 步除 0.651,影响已经不大;第 100 步几乎可以忽略。所以偏差修正是一个"只在开头重要"的操作。
def exp_weighted_avg(theta, beta=0.9): """ EN: v_t = beta * v_{t-1} + (1 - beta) * theta_t CN: 历史值按 beta 幂次衰减加权,越近权重越大 EN: corrected = v_t / (1 - beta ** t) # bias correction CN: 除以 (1 - beta^t),修正从 0 起步导致的系统性偏小 """ v, out_raw, out_corr = 0.0, [], [] for t, x in enumerate(theta, start=1): v = beta * v + (1 - beta) * x out_raw.append(v) out_corr.append(v / (1 - beta ** t)) return out_raw, out_corr拿一段温度序列跑一下,你会看到未修正的曲线在前 10 个点明显贴着 0 走,修正之后立刻贴合真实数据。这个视觉冲击比看公式有用得多。
提示:Adam 里的偏差修正对象是两路动量,而且分母是
1-β1^t和1-β2^t,注意 β1 和 β2 用的是同一个 t,别写错。我见过把二阶动量的修正写成1-β1^t的实现,在小 batch 下不报错但收敛会差一点,属于非常难查的软错误。
3.3 Momentum:给梯度加个惯性
Momentum 的直觉是"滚球":不是每一步都朝当前梯度方向走,而是保留一部分上一步的速度。这样在梯度方向一致的区域会加速,在来回震荡的方向上会互相抵消。实现上就是把梯度换成梯度的指数加权平均。
def init_momentum(params): """ EN: v initialized to zeros, same shape as each parameter CN: 动量缓存初始化为全零,形状与参数一致 """ return {k: torch.zeros_like(p) for k, p in params.items()} def update_momentum(params, grads, v, lr=0.01, beta=0.9): """ EN: v = beta * v + (1 - beta) * dW ; W = W - lr * v CN: 先累积历史梯度得到速度,再沿速度方向更新 """ for k in params: v[k] = beta * v[k] + (1 - beta) * grads[k] params[k] -= lr * v[k] return params, v这里有个坑必须说清楚:原版作业的 Momentum 更新写的是v = beta*v + (1-beta)*dW,然后W -= lr*v。而 PyTorch 的torch.optim.SGD(momentum=0.9)内部写的是buf = momentum*buf + grad,然后p -= lr*buf,少了那个 (1-beta)。两者不等价,前者相当于把学习率乘了一个 (1-β) 的系数。如果你要和官方对齐,lr得相应放大 1/(1-β) 倍,也就是大约 10 倍。我在做数值对拍时就栽在这儿,一度以为自己的实现错了。
3.4 RMSprop:按维度自己调步长
RMSprop 解决的是另一个问题:不同参数方向的梯度量级可能差好几个数量级,统一学习率对某些维度太大、对另一些太小。它的做法是维护梯度的平方的指数加权平均,然后用它开根号去除,相当于给每个参数一个自适应的步长。
def update_rmsprop(params, grads, s, lr=0.001, beta2=0.999, eps=1e-8): """ EN: s = beta2 * s + (1 - beta2) * dW**2 ; W = W - lr * dW / (sqrt(s) + eps) CN: 累积梯度平方,用它开根号做分母,实现逐参数缩放 """ for k in params: s[k] = beta2 * s[k] + (1 - beta2) * grads[k] ** 2 params[k] -= lr * grads[k] / (torch.sqrt(s[k]) + eps) return params, seps的作用是防止分母为 0,尤其在训练最初几步 s 还是接近 0 的时候。这个值不要设太大,1e-8 是标准,设成 1e-3 会明显削弱自适应效果。我在一个实验里图省事写了 1e-4,结果 RMSprop 的表现跟不开自适应差不多。
注意:RMSprop 在 PyTorch 官方实现里其实也带了 momentum 参数(默认 0),原版作业里的版本是没有动量的纯 RMSprop。做对照实验时要么明确关掉动量,要么在报告里注明,不然结论会串。
3.5 Adam:把惯性和自适应步长合起来
Adam 就是把 3.3 的一阶动量和 3.4 的二阶动量合到一起,各自做偏差修正,然后相除。它的参数最多,也是实际项目里最常用的默认选择。
def init_adam(params): v = {k: torch.zeros_like(p) for k, p in params.items()} # 一阶矩 s = {k: torch.zeros_like(p) for k, p in params.items()} # 二阶矩 return v, s def update_adam(params, grads, v, s, t, lr=0.01, beta1=0.9, beta2=0.999, eps=1e-8): """ t: 全局步数,从 1 开始,跨 epoch 连续累加 EN: first moment -> velocity, second moment -> scale CN: 一阶矩累积方向,二阶矩累积量级 EN: both are bias-corrected by 1 - beta**t CN: 两路都做偏差修正,修正因子用的是同一个 t """ for k in params: v[k] = beta1 * v[k] + (1 - beta1) * grads[k] v_hat = v[k] / (1 - beta1 ** t) s[k] = beta2 * s[k] + (1 - beta2) * grads[k] ** 2 s_hat = s[k] / (1 - beta2 ** t) params[k] -= lr * v_hat / (torch.sqrt(s_hat) + eps) return params, v, s这里最容易错的地方是t的作用域。t必须跨 epoch 连续累加,不能在每个 epoch 开头重置为 1。一旦重置,偏差修正因子在每次 epoch 开始都会突然变小,导致开头几步的更新幅度被异常放大,曲线会呈现规律的"锯齿"。我第一次跑出来 loss 图上每 100 步一个小尖峰,以为是数据问题,查了两小时才发现是t写在了 epoch 循环里面。
eps在 Adam 里建议放在根号外面(sqrt(s_hat) + eps),这和原版论文一致。有些实现放在里面(sqrt(s_hat + eps)),两者在 s 很小时差别明显,做对拍时要注意。
3.6 学习率衰减:后期收窄步子
固定学习率的问题在于前期需要大步快走,后期需要小步微调。原版作业用的是时间衰减:lr = lr0 / (1 + decay_rate * epoch)。这个公式前期下降快、后期趋于平缓,比阶梯衰减平滑得多。
def lr_at(epoch, lr0=0.0007, decay_rate=1.0): """ EN: time-based decay, lr shrinks as 1/(1 + decay_rate * epoch) CN: 按 epoch 做时间衰减,前期降得快后期趋缓 """ return lr0 / (1.0 + decay_rate * epoch)如果不想自己算,用torch.optim.lr_scheduler.LambdaLR更省事,但要注意scheduler.step()的调用位置。PyTorch 1.1 之后,scheduler 在 optimizer.step() 之后调用;如果你在 epoch 开头调用,学习率会提前衰减一轮,整体偏小。这个坑我在迁移代码时踩过,曲线整体下移,找原因找了很久。
还有一点:课程里 Adam 的初始学习率给的是 0.0007,这个数比常见的 1e-3 略小,原因是用了 lr 衰减,前期实际步长会比标称值大一点。我做对照实验时统一用 0.0007 起步,保证三个优化器可比。
4. 完整训练循环与中英对照注释写法
单个优化器写对不难,难的是把 mini-batch、优化器、学习率衰减、步数计数揉进一个循环里,还要保证三个版本共享同一套代码骨架,只换更新函数。这一章给出我实际用的结构。
4.1 训练器骨架
思路是把优化器做成可插拔的模块,训练循环不关心内部实现,只调用step。这样对照实验时只需要替换一个字符串。
class Trainer: def __init__(self, model, opt_name="adam", lr0=7e-4, batch_size=64): self.model = model self.opt_name = opt_name self.lr0 = lr0 self.batch_size = batch_size self.t = 0 # 全局步数,跨 epoch 累加 p = dict(model.named_parameters()) self.v = {k: torch.zeros_like(x) for k, x in p.items()} self.s = {k: torch.zeros_like(x) for k, x in p.items()} self.loss_fn = torch.nn.BCELoss() def step(self, params, grads, lr): if self.opt_name == "gd": for k in params: params[k] -= lr * grads[k] elif self.opt_name == "momentum": params, self.v = update_momentum(params, grads, self.v, lr) elif self.opt_name == "adam": # EN: t increments once per update, not per epoch # CN: t 每更新一次加一,而不是每个 epoch 加一 self.t += 1 params, self.v, self.s = update_adam( params, grads, self.v, self.s, self.t, lr) return paramsself.t放在step里加一,而不是在循环外层加一,这个位置关系很关键。放在外层你就会在每个 batch 里用同一个 t,偏差修正完全失效。
学习率按 epoch 更新,所以在外层循环开头算一次lr = lr_at(epoch, self.lr0),然后整个 epoch 内保持不变。如果你想做 step 级别的衰减(cosine 之类),就得挪进内层,逻辑完全不同。
4.2 双语注释的排版约定
注释这件事,我摸索出一套自己觉得舒服的规则,分享出来。上英文,下中文,前面加EN:和CN:前缀。英文只写公式或者 PyTorch 文档里的原话,中文写"为什么这么写"而不是"这行是什么"。比如# EN: bias correction配# CN: 修正从零起步的偏小,比直译"偏差纠正"有信息量得多。
第二条规则是公式行必须英文。因为你要在论文、官方文档、源码注释之间来回看,公式用英文能直接搜到出处。第三条是陷阱行必须中文。所有跟直觉相反的地方,比如t的作用域、eps在根号内外、momentum 的 (1-β) 差异,全部用中文写清楚,这些是搜不到的、只能靠踩坑积累的东西。
双语注释还有个额外好处:当我把代码发给做同样作业的朋友看时,习惯中文的直接看中文,习惯读英文的看英文,不用来回解释。这份代码后来被我当成模板复用了好几次。
5. 三组实验的对照与调参心得
写完不算完,作业真正的产出是那三条对照曲线。这一章讲我跑出来的结果和几个跟直觉相反的发现。
5.1 收敛曲线与耗时对比
同样的网络结构、同样的 batch_size=64、同样的初始学习率 7e-4,跑 5000 个 batch 量级,三者的表现差异非常明显。
| 优化器 | 前期下降速度 | 后期稳定性 | 单步耗时 | 训练集最终 loss | 测试集表现 |
|---|---|---|---|---|---|
| 纯 GD | 最慢,前 500 步几乎平 | 很稳,无震荡 | 最低 | 最高 | 一般 |
| Momentum | 快,仅次于 Adam | 稳定,偶有轻微过冲 | 略高 | 中等 | 较好 |
| Adam | 最快,前 100 步掉得最狠 | 后期容易抖 | 最高 | 最低 | 出现过拟合 |
具体说 Adam 的过拟合。这个数据集样本量小、特征维度高(12288 维),Adam 收敛太快,训练集 loss 很快压到很低,测试集精度反而在某个点之后开始下降。我观察到大概在第 3000 到 5000 步之间出现拐点。Momentum 没有这个问题,因为它的步长是"整体"缩放的,没有逐维度的自适应放大效应。这个现象在原版作业里也提到过,属于这个任务的固有特性,不是实现错误。
耗时方面,Adam 单步比 GD 慢大约 3 倍(要算两路动量加两路偏差修正),但因为收敛需要的步数少得多,总墙钟时间反而接近甚至更短。
5.2 超参数敏感性
我做了几组单变量扫描,结论如下。
第一,beta1=0.9相对稳定,改成 0.8 或 0.95 影响都在可接受范围;但beta2很敏感,课程默认 0.999,我试过 0.99,二阶动量窗口从 1000 步缩到 100 步,前期震荡明显加剧。原因是这个任务的梯度噪声本来就大,需要更长的平滑窗口。
第二,eps一旦大于 1e-6,Adam 的更新幅度会被整体压小,曲线整体向右平移,看起来像学习率调小了。所以eps不是"随便给个小数",它在梯度很小时会主导分母。
第三,学习率衰减率decay_rate不宜过大。我试过设成 5,第 10 个 epoch 学习率就掉到不到原来的五分之一,训练后期基本停滞。设成 1 是比较稳的选择。
| 超参数 | 试过的取值 | 最终采用 | 选择理由 |
|---|---|---|---|
| batch_size | 16/32/64/128/256 | 64 | 每 epoch 更新次数落在 30-100 的舒适区 |
| beta1 | 0.8/0.9/0.95 | 0.9 | 0.8 加速不足,0.95 过冲 |
| beta2 | 0.99/0.999/0.9999 | 0.999 | 0.99 太抖,0.9999 反应太慢 |
| lr0 | 5e-4/7e-4/1e-3 | 7e-4 | 配衰减使用,1e-3 前期会炸 |
| eps | 1e-8/1e-6/1e-4 | 1e-8 | 大于 1e-6 开始压制更新幅度 |
6. 踩过的坑与排查速查表
这部分是我认为整份作业最值钱的地方,因为前面那些公式在任何一篇教程里都能找到,而这些坑只能自己踩。
6.1 典型故障现象与定位
| 现象 | 可能原因 | 处理方式 |
|---|---|---|
| loss 直接变 nan | 学习率过大、未做输入归一化、损失里出现了 log(0) | 先降 lr 十倍,再检查输入是否缩放到同一量级,BCELoss 前把输出 clamp 到 [1e-7, 1-1e-7] |
| loss 完全不动 | 参数没参与计算图、学习率过小、梯度被 detach | 打印几个参数的 grad 看是不是 None 或全零 |
| 每个 epoch 末尾 loss 回升 | 尾部小 batch 噪声大 | 丢掉最后一个不满的 batch,或者把 batch_size 调成能整除 |
| Adam 训练集极低但测试集差 | 小样本 + 高维特征导致过拟合 | 加 L2、降网络宽度、早停 |
| 各次运行结果差异很大 | 种子没固定、mini-batch generator 被复用污染 | 见 2.2 的种子配置 |
| 手写 Adam 与官方实现数值对不上 | 偏差修正的 t 写错、eps 位置不同、momentum 少了 (1-β) | 逐参数打印差值,先对拍单步再对拍多步 |
有一类问题特别值得单拎出来说:loss 不降但也不报错。这属于最难查的一类,因为没有任何异常信息。我的排查顺序固定为:先看参数梯度是否非零,再看单步更新后参数是否真的变了,再看 loss 对参数的敏感度。三步下来基本能定位到是"梯度断了"还是"梯度太小"还是"更新方向反了"。
6.2 数值稳定性细节
BCELoss 在预测值接近 0 或 1 时,log 会趋向负无穷,梯度爆炸。PyTorch 的实现内部做了log-sum-exp的稳定化处理,但你自己写 NumPy 版的时候很容易漏。我在 NumPy 版里踩过,loss 在第 800 步左右突然变成 nan,原因就是某个样本的预测恰好是 1.0。
另一个细节是torch.sqrt对负数会返回 nan 而不是报错。RMSprop 和 Adam 里按理说 s 不会为负,但如果你不小心在别处复用了同一个字典、或者 s 初始化成了别的值,sqrt 会安静地给你一个 nan,然后整个参数变 nan,一路传播下去。我现在的习惯是在初始化时加一句断言,把形状和数值范围都检查一遍,代价是几行代码,收益是省下几小时的排查。
提示:调试优化器时,先关掉学习率衰减、关掉 mini-batch(batch_size = 全量),用 1 到 2 个 epoch 做单步对拍。确认单步更新数值一致之后,再逐个把变量加回来。这个"控制变量"的顺序比随机试错快得多。
还有个跟性能相关的细节:手写循环里对每个参数做 Python 层循环,在参数量大的时候会很慢。这份作业的网络很小,影响不大;但如果拿去跑真实模型,建议用torch._foreach_*系列函数或者直接转成官方优化器。手写版本的定位是"教学与验证",不是"生产可用"。
6.3 与官方优化器对拍的实操方法
我最后做的一件事是把每个手写优化器跟torch.optim的对应实现做数值对拍。方法是构造一个固定的小网络,注入固定梯度,跑一步,比较参数差值。
p_hand = {k: v.clone() for k, v in model.named_parameters()} p_torch = {k: v.clone() for k, v in model.named_parameters()}需要注意的学习率换算:手写 Momentum 因为带了(1-β),要跟官方对齐得把 lr 乘1/(1-β)。Adam 的官方实现里eps放在根号外,和原版一致,直接对拍即可。RMSprop 官方实现默认带momentum=0,且分母是sqrt(s) + eps,也对得上。
对拍通过之后,我对这份手写代码的信心才真正建立起来。这也是我建议每个人做的一步:不是怀疑自己写错,而是通过"另一个独立实现"来确认自己理解了每个参数的含义。
7. 几句实际操作中的体会
写完整份作业,最大的收获不是记住了 Adam 的公式,而是搞清楚了几个参数之间的耦合关系。学习率、batch_size、β 这三者是互相牵制的:batch_size 减半,梯度噪声翻倍,你就得相应降低学习率或者提高 β 来平滑;反之亦然。这个联动关系在任何文档里都不会写得很清楚,只能通过反复调参建立肌肉记忆。
另一个体会是关于"中英对照"这件事本身。一开始我纯粹是为了方便自己看论文,写完之后发现双语注释最大的价值是强迫你把每行代码的意图说清楚。中文那句"为什么"如果写不出来,通常说明你其实没搞懂这行。我大概有三四处注释写了一半卡住,回头补数学推导才补上,那几处恰恰就是后来最容易出错的地方。
如果要把这份作业继续往下做,我个人的方向是加两个东西:一个是把二阶梯度的思路扩展到 AdamW(权重衰减和 L2 正则不是一回事),另一个是把 mini-batch 的顺序做成可复现的采样器,方便做严格的消融实验。这两块都不难,但能把这份教学代码往实用方向推一步。