为什么你的跨数据集迁移学习没生效？Fashion-MNIST 迁移 CIFAR-10 的三个避坑决策

【免费下载链接】fashion-mnistA MNIST-like fashion product database. Benchmark :point_down:项目地址: https://gitcode.com/gh_mirrors/fa/fashion-mnist

同一个模型，在 Fashion-MNIST 上 92%，换到 CIFAR-10 直接掉到 45%——这是我们在做跨数据集迁移学习时遇到的真实翻车现场，比"换个数据集精度腰斩"还要反直觉。更糟的是：加载预训练权重后直接微调，结果反而比随机初始化从零训练还差。

下文按一次完整实验的时间线复盘：初始化、跑通、异常、调优、定稿。三个关键决策——输入分布对齐、冻结卷积层加小学习率、特征提取加领域适应——都是在踩完坑之后长出来的，每一步我们都交代清楚当时的现象和背后的原因。

数据准备：先看清 28×28 和 32×32 背后的差距 🔍

时间线从环境初始化开始，但第一个坑其实在数据端。乍一看两个数据集很像：都是 10 个类别、同一量级的样本数、小尺寸图像。可输入端其实是两道不同的题。

Fashion-MNIST 是 28×28 的灰度单通道图，60,000 张训练、10,000 张测试，来源是 Zalando 的服装商品图，轮廓干净、背景接近纯色；CIFAR-10 是 32×32 的 RGB 三通道图，50,000 张训练、10,000 张测试，从 800 万张小图片中抽样，背景复杂、光照多变。我们内部的说法是：模型在 Fashion-MNIST 上是"在白板前背公式"，到 CIFAR-10 变成"在横线纸上考默写"——尺寸差 4 个像素、通道从 1 变 3，像素的均值和方差更是两套东西。

仓库里已经内置了源域数据，data/fashion 下就是四个 idx 分片，用 mnist_reader 两行代码就能加载；目标域用 torchvision 下载即可：

git clone https://gitcode.com/gh_mirrors/fa/fashion-mnist cd fashion-mnist python -c "from torchvision.datasets import CIFAR10; CIFAR10(root='./data', train=False, download=True)"

上图每个类别占三行，能直观看到类内的纹理差异远大于预期——同样是"T恤"，也差着一整排图案。这种类内方差正是后面领域适应要处理的问题之一。

第一次跑通就翻车：迁移精度为什么比随机初始化还低

流程本身很标准：拿仓库自带的 benchmark 两层卷积模型 在 Fashion-MNIST 上预训练 20 个 epoch，测试精度约 92%；然后加载权重，在 CIFAR-10 上继续全量微调，学习率 1e-3，跑了 15 个 epoch。

结果：loss 前几个 step 就剧烈震荡，准确率在 45% 附近趴了全程，还不如随机初始化训练 20 个 epoch 的 45.3%。

这次踩了两个坑。

一个是输入分布没对齐。源域和目标域的归一化统计量是两套东西：灰度图均值 0.286，RGB 图是 (0.4914, 0.4822, 0.4465)。卷积层第一眼看到的像素统计量就变了，相当于让一个只批过铅笔卷的人直接批钢笔卷。

另一个是学习率太大。1e-3 对"从零学"是合理的，对"已经学到局部最优的权重"来说就是暴力拆迁：前几百步就把预训练学到的特征冲掉了。这也是很多迁移实验"加载了权重反而更差"的常见原因——权重不是白送的，它需要一个小心的学习率来保护。

仓库 README 里有一张 t-SNE（把高维特征压缩到二维、用来观察类簇结构的技术）可视化：Fashion-MNIST 的 10 个类簇紧凑、边界清楚。这解释了它为什么是个好"源域"——特征学得快、学得干净；也解释了特征为什么不能直接搬走：簇的形状是照着服装轮廓塑的，放到自然图像上，分布必然错位。这种源域与目标域特征分布不一致的现象，就叫领域偏移（domain shift）。

冻结卷积层后还要做什么：重训分类头与小学习率 🧊

修复方案分两步，顺序很重要。

先统一输入端。源域数据上采样到 32×32、灰度复制成三通道，两个域各自用各自的均值方差归一化：

import torch from torchvision import transforms # 源域：28x28 灰度 -> 32x32 三通道，用自己的统计量 src = transforms.Compose([ transforms.Resize(32), transforms.Grayscale(num_output_channels=3), transforms.ToTensor(), transforms.Normalize((0.2860,), (0.3530,)), ]) # 目标域：CIFAR-10 的统计量 dst = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ])

再处理权重端：冻结卷积层，只重新训练分类头。冻结卷积层相当于让老师先背好公式、再改新作业——边缘、纹理这类底层视觉特征在两个数据集上都通用，是公式；而"哪些特征对应哪一类"的判断标准，要为新作业重写。冻结卷积层是迁移学习里最常用的一招，但冻结之后还有两件事不能省：分类头必须重新初始化，学习率必须降下来。

for name, p in model.named_parameters(): if 'conv' in name: p.requires_grad = False # 冻结卷积层 head = nn.Linear(512, 10) # 分类头重新初始化 optimizer = torch.optim.Adam(head.parameters(), lr=1e-4)

学习率为什么选 1e-4？预训练特征停在一个局部最优附近，1e-3 会把它"推下山再乱爬"，1e-4 的步长刚好只够分类头学会使用这些现成特征。这次实验里，分布对齐 + 冻结 + 新头 + 1e-4 的组合，把 CIFAR-10 精度从 45% 拉到 65.2%，全程没有震荡。

特征提取 领域适应：MMD 损失把两个分布拉拢

65% 比随机基线高出 20 个点，但离目标域的上限还差一截。瓶颈在深层语义特征：它们是在服装轮廓上塑形的，搬到自然图像上错位最严重，纯冻结救不了。

这一步引入 MMD（Maximum Mean Discrepancy，最大均值差异）：它计算源域与目标域特征分布之间的距离，数值越小，说明特征越"通用"。做法是在分类损失之外叠加一项 0.1 倍权重的 MMD 损失，逼着共享的特征表示去对齐两边的分布；同时按 epoch 分层解冻——前 5 个 epoch 只训分类头，之后依次释放深层卷积，让深层特征小步走向目标域，而不是一步到位。

一句话总结两个手段的分工：冻结是粗调，管"别把通用特征冲掉"；MMD 加分层解冻是细调，管"把专用特征掰回来"。加完之后，精度停在 70.4%。

定稿复盘：三次实验的账

回看整条时间线，三个结论值得记住。迁移增益真实存在（45.3% → 70.4%），但"加载权重直接训"这条捷径完全走不通，权重需要配套的输入分布对齐和保护性学习率。收益主要来自底层特征：边缘、纹理这类通用视觉模式在两个数据集上几乎通用，所以前几层卷积可以大胆冻结；深层语义特征则高度依赖源域，必须渐进释放。领域偏移也不是玄学，它有具体的量化抓手（MMD 数值）和渐进的解决路径，不必一上来就上对抗训练。

下一步可以试什么

• 对比不同预训练轮数（10 / 20 / 40 epoch）的影响：预训练越久，特征固化得越"专一"，迁移增益可能不升反降，值得画一条增益曲线
• 换 CIFAR-10 → Fashion-MNIST 的反向迁移，验证"简单源域到复杂目标域"的结论是否对称
• 用自监督预训练（如对比学习）替代监督预训练，看无标签数据学出的通用特征能否把 MMD 距离进一步压下去

【免费下载链接】fashion-mnistA MNIST-like fashion product database. Benchmark :point_down:项目地址: https://gitcode.com/gh_mirrors/fa/fashion-mnist