简介这是一份基于PyTorch实现的人脸表情识别项目源码涵盖CNN、VGG、ResNet三种主流网络结构面向深度学习初学者以及计算机视觉方向的学习者帮助理解图像分类任务中的模型构建、训练与对比分析。项目包含13个Python脚本、1个人脸检测xml配置文件及1份README说明压缩包整体仅161KB文件虽小但功能划分清晰。已有434人学习下载。源码按模型独立组织每个网络均提供训练与测试脚本并额外给出GPU加速版本配套的数据划分、图像与表情映射、模型效果对比等工具脚本方便单独运行和扩展改造。配合Kaggle人脸表情数据集可快速完成从数据准备、模型训练到性能评估的完整流程。对于希望系统掌握PyTorch建模流程、对比不同网络结构效果的读者这份资源提供了清晰的代码参考、规范的项目组织思路以及轻量级的人脸检测集成方案实用性和学习价值兼具。1. 人脸表情识别用 PyTorch 实现时问题不在网络而在数据分布把 CNN、VGG、ResNet 三套结构同时塞进一个表情识别项目看起来是“多一点选择”实际上是把一个分类问题拆成了三个不同深度的模型选型问题。人脸表情识别和 ImageNet 分类有个本质差异输入通常只有 48×48 的灰度图类别之间差异极其细微angry 和 fear 的区别可能只是眉眼和嘴角的几像素位移网络加深带来的特征抽象能力在小分辨率下不一定能转化为精度提升反而容易过拟合。这类项目的代码骨架不难数据管道、训练循环、评估脚本加起来不过几百行真正决定项目能不能跑出 70% 以上测试准确率的地方是数据加载方式、图像预处理策略以及 VGG/ResNet 针对小尺寸灰度输入的适配程度。这篇东西写给两类人一类是想快速复现表情识别 baseline 的工程师另一类是手里有源码包但不确定该怎么调参数的研究者。下文按“模型选型 → 数据与实现 → 训练调优 → 验证技巧”的顺序展开涉及可直接运行的 PyTorch 代码照抄能出结果。2. CNN、VGG、ResNet 在 48×48 灰度人脸图上的真实差异2.1 为什么基础 CNN 仍然是这类项目的最优起点表情识别在学术界常用的基准数据集是 FER2013单张图片 48×48 像素、灰度、7 类表情angry, disgust, fear, happy, sad, surprise, neutral。这个分辨率下网络第一层卷积的每个神经元能看到的原始信息非常有限。一个两层卷积的简单 CNN每层 32 个 3×3 卷积核配合 ReLU 和 2×2 MaxPool就已经能提取到眉眼、嘴角这类局部纹理模式。对这个任务来说基础 CNN 的价值不是精度而是训练速度和调试效率它能让数据管道、损失函数、评估流程在 10 分钟之内跑通之后再换 VGG 或 ResNet 时才不会把“模型问题”和“代码问题”混在一起。从特征学习的角度看基础 CNN 在 7 分类任务上通常能到 55%~62% 的准确率距离 VGG、ResNet 的差距不大。原因是表情特征依赖于中低层特征的组合而不是深层的语义抽象。深层网络带来的强非线性在小数据集上更容易记住训练集中的噪声所以很多从业者反而选择把基础 CNN 作为最终方案只通过数据增强提升泛化能力。class SimpleCNN(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(64, num_classes) ) def forward(self, x): return self.classifier(self.features(x))这段结构刻意省略了全连接层使用 AdaptiveAvgPool2d(1) 把特征图压缩成 1×1好处是输入尺寸变化时分类层权重不用改。相比传统 CNN 堆 FC 层的写法这个设计在后续改成 VGG 或 ResNet 时迁移成本更低。如果你自己写代码第一层卷积的 padding 必须是 1否则 48×48 输入经过第一层后变成 46×46两次下采样之后到分类层时的特征分辨率会变得很尴尬。2.2 VGG 在表情识别里应该降级使用而不是照搬 16 层VGG 的核心贡献是证明了“小卷积核堆叠”可以替代大卷积核。两个 3×3 卷积堆叠等价于一个 5×5 卷积的感受野三个堆叠等价于 7×7但参数量更少非线性更强。VGG16 在 ImageNet 上效果好但把它直接搬到 48×48 灰度表情图上会出问题输入分辨率太小5 个 MaxPool 层会把特征图压到 1×1大量细节在下采样过程中丢失全连接层参数量巨大FER2013 只有不到 3 万张训练图过拟合几乎无法避免。实际项目里更常见的做法是使用 VGG11 的骨干去掉最后两个 MaxPool或者保留 VGG16 的结构但把分类层换成 AdaptiveAvgPool 单层 Linear。这样既保留了堆叠小卷积核的特征提取能力又不会让参数量失控。torchvision 里提供了 vgg11_bn 的预训练权重但它的输入是 224×224 的 RGB 三通道图接到 48×48 灰度输入上需要调整第一层卷积的通道数和输入尺寸。模型 参数量 48×48下MaxPool后的特征图 FER2013典型准确率 CNN简单版 ~8万 12×12 55%-62% VGG11改造 ~930万 12×12(去掉后2个Pool) 60%-66% VGG16原版 ~1.38亿 3×3(全保留) 过拟合明显 ResNet18 ~1120万 12×12(改stem后) 62%-70%这个表格是从实际训练经验中归纳出来的大致区间具体数值会受随机种子和数据增强策略影响。可以看到如果只追求 60% 出头的准确率VGG11 改出来的效果和基础 CNN 差别不大但训练时间增加 5 倍以上这也是很多源码包里同时放着多个模型文件的原因不同模型面向不同精度和资源需求。2.3 ResNet 的残差连接真正解决的问题是退化不是过拟合ResNet 的核心机制是恒等映射它允许梯度直接流过残差块让网络在加深时不会出现训练误差反而升高的问题。在表情识别场景里ResNet18 通常比 ResNet50 更实用因为 50 层的深层网络需要更多数据来填满容量而 FER2013 的训练集规模不足以支撑。使用 ResNet18 时有一个关键适配点torchvision 的 resnet18 默认 stem 是 7×7 卷积、stride2后面跟一个 3×3 MaxPool输入 48×48 灰度图时stem 一步就把分辨率压到 24×24再经过 MaxPool 直接变 12×12前几层的细粒度纹理信息大概率被 stride2 的卷积直接丢弃了。解决方法是替换 ResNet 的 stem 部分把 7×7 stride2 的卷积换成两个连续的 3×3 卷积第一个 stride1 保持分辨率第二个 stride2 做下采样。这相当于把“一步大步长”改成“两步小步长”在保持总下采样倍率不变的情况下多引入一层非线性对小尺寸输入更友好。import torch.nn as nn def build_resnet18_grayscale(num_classes7): from torchvision.models import resnet18, ResNet18_Weights model resnet18(weightsNone) model.conv1 nn.Conv2d(1, 64, kernel_size3, stride1, padding1, biasFalse) model.bn1 nn.BatchNorm2d(64) model.maxpool nn.Identity() model.fc nn.Linear(model.fc.in_features, num_classes) return model代码里把 maxpool 替换成 Identity同时 conv1 改成 3×3 stride1这样 48×48 输入经过 stem 后保持 48×48之后进入 layer1 的残差块时才开始逐步降采样。注意这里不能直接使用 ImageNet 预训练权重因为 conv1 的输入通道数和核尺寸都变了。如果坚持要用预训练权重需要将权重的前几层做裁剪和均值处理但实测对灰度表情图的增益有限后面第 4 章会细说。3. 数据管道搭建与 PyTorch 实现的最小闭环3.1 FER2013 的 CSV 读取与自定义 Dataset 写法FER2013 数据集最常见的形式是一个 CSV 文件每一行包含 emotion、pixels、Usage 三列pixels 是 2304 个空格分隔的灰度像素值Usage 表示 train/val/test 划分。理解这个结构是源码包排查的第一步因为很多所谓的“导入项目跑不起来”问题根源都是项目说明里没写清楚 CSV 的解析方式新手把像素值当成了逗号分隔。数据读取建议在 Dataset 的init阶段就完成 CSV 解析并缓存为 numpy 数组避免每次getitem都去解析文本。import pandas as pd import numpy as np from PIL import Image from torch.utils.data import Dataset class FER2013Dataset(Dataset): def __init__(self, csv_path, splittrain, transformNone): df pd.read_csv(csv_path) df df[df[Usage] split] self.labels df[emotion].values.astype(np.int64) pixels df[pixels].values # 每个像素字符串是一长串空格分割的数值用列表推导拆开再 reshape self.images np.array([np.fromstring(p, sep ) for p in pixels]) self.images self.images.reshape(-1, 48, 48).astype(np.uint8) self.transform transform def __len__(self): return len(self.labels) def __getitem__(self, idx): img self.images[idx] img Image.fromarray(img, modeL) label self.labels[idx] if self.transform: img self.transform(img) return img, label这段代码对 FER2013 的兼容性比较好直接读 CSV 而不是去匹配目录结构源码包里如果是按目录组织图片的只需要把getitem改成读图路径即可。从性能角度看一次性将全部图片载入内存约占用 180MB多数机器可以接受省去了每次迭代都做磁盘 I/O 的时间。建议在项目说明里明确写出这个 Dataset 的输入输出格式否则换用别人写的 dataset 类时最容易翻车的是 transform 里是否包含 ToTensor漏掉这一步会导致模型收到的输入是 PIL Image 而不是 FloatTensor。3.2 数据增强的配置从源码包里的 images 增强策略说起表情识别对数据增强的依赖非常强因为 FER2013 的训练集只有不到 29000 张且类别分布不均衡disgust 类别的样本数只有 400 多张。如果项目说明里提到了“图像增强cnn算法”这样的描述通常是下面这组配置的组合它们在 48×48 上不会引入过强变形from torchvision import transforms train_transform transforms.Compose([ transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(10), transforms.RandomAffine(degrees0, translate(0.1, 0.1)), transforms.ToTensor(), transforms.Normalize(mean(0.5,), std(0.5,)) ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean(0.5,), std(0.5,)) ])RandomRotation(10) 表示在 ±10 度范围内随机旋转这个角度范围是经验值超过 15 度后人脸表情的物理形态会失真模型容易学到旋转不变性而非表情不变性。RandomAffine 的 translate 参数表示水平垂直方向最多平移 10% 的像素用来模拟人脸未对齐的情况。最后的 Normalize 使用 0.5 的均值和标准差因为灰度图像素经 ToTensor 归一化到 [0,1] 后0.5 正好对应 128 的灰度值这个参数应固定写死在 transform 里避免不同模型训练时采用不同的归一化标准导致结果不可比。如果追求更高的精度可以加入 RandomErasing 或 Cutout在 48×48 的小图上随机遮挡一块 8×8 的区域强迫模型不依赖单个局部特征。这个策略在表情识别上收益明显比如对 happy 类模型如果只盯着嘴巴的弧度遮挡掉嘴部后预测仍然保持 happy说明学到了别的特征。3.3 PyTorch 训练循环模型定义、优化器选择、state_dict 保存训练代码的主干部分异常直观重点在于优化器选择和学习率设置。表情识别项目最常见的是用 Adamlr1e-3配合 StepLR 每 10 个 epoch 乘以 0.1。相比 SGDmomentumAdam 对初始化不敏感对新手更友好但如果你发现验证集损失在某个 epoch 后剧烈震荡说明 lr 偏大把初始 lr 降到 3e-4 再试。import torch import torch.nn as nn device torch.device(cuda if torch.cuda.is_available() else cpu) model build_resnet18_grayscale(num_classes7).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) for epoch in range(30): model.train() for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fEpoch {epoch1}, Accuracy: {100 * correct / total:.2f}%) torch.save(model.state_dict(), best_model.pth)CrossEntropyLoss 已经内置了 Softmax 计算模型最后一层不需要额外加 Softmax这是 PyTorch 常见的坑尤其是从 TensorFlow 转过来的开发者。weight_decay 设为 1e-4 用于防止过拟合但不要设得过大表情识别数据量小过大的 weight_decay 会压制特征学习。训练完成后只保存 state_dict 而不是整个 model加载时通过 build_resnet18_grayscale 重新实例化再 load_state_dict这样可以避免 PyTorch 版本变更导致的序列化兼容问题。4. 训练参数、预训练模型与精度优化的关键取舍4.1 预训练权重用还是不用源码包的 resnet 模型应如何选择这是很多人在 ResNet 版模型上纠结的地方。torchvision 提供的 resnet18 预训练权重基于 ImageNet 的 1000 类分类任务输入是 224×224 的三通道自然图像这与 48×48 灰度人脸表情图分布差异悬殊。强制适配的方式有三种一是直接把 conv1 的权重改成输入通道均值复制三次再 mean 掉二是把灰度图在数据读取时复制成三通道三是从零训练。从实际效果看预训练权重的收益并不像在目标检测任务里那么明显。理由在于ImageNet 预训练模型的前几层学到的是颜色纹理和物体边缘特征而表情识别需要的是面部肌肉形变特征差了几个层级的语义。但我在项目中见过一种有效折中使用 ImageNet 预训练权重的骨干但不冻结前几层让整个网络在表情数据上充分微调初始 lr 设为 1e-4这比随机初始化收敛得快一些最终精度略高约 2 个百分点。如果源码包里的 ResNet 模型是从零初始化的不要急着说它有问题。4.2 两个最值得调的参数批次大小和类别权重FER2013 训练集只有 29000 张图batch_size 的选取直接影响 BatchNorm 的统计量稳定性。太小如 16BatchNorm 的均值和方差在单个 batch 上估计不准太大如 256每一轮迭代次数太少优化器收敛不充分。经验值是 64 或 128显存占用约 2~4GB基本覆盖了常见的消费级显卡。如果显存只有 4GB 且跑 ResNet18 在 64 的 batch 下 OOM把输入尺寸维持 48×48 不变优先把 batch 降到 32而不是去改模型结构。类别不均衡是表情识别最隐蔽的陷阱。直接用 CrossEntropyLoss 训练出来的模型对样本量大的 happy 和 neutral 类精度虚高对 disgust 和 fear 类几乎失效。检查方法是计算每个类的样本数占比如果发现最大类是最小类的 20 倍以上必须做类别重加权。from torch.utils.data import WeightedRandomSampler labels train_dataset.labels class_counts np.bincount(labels) class_weights 1.0 / class_counts sample_weights class_weights[labels] sampler WeightedRandomSampler(sample_weights, num_sampleslen(labels), replacementTrue) train_loader DataLoader(train_dataset, batch_size64, samplersampler, num_workers4)使用 WeightedRandomSampler 后每次采样时样本概率与其类别权重成正比所有类别的期望采样次数一致但要注意 replacementTrue 会导致部分样本在同一 epoch 内被重复采样训练轮数不变的情况下模型看到的总样本数不变只是分布被拉平了。另一种做法是把 class_weights 传给 CrossEntropyLoss 的 weight 参数不改变采样分布只在损失计算时放大少数类的梯度两种方法可以同时使用但要小心过拟合少数类。4.3 学习率调度策略对比表训练 ResNet 时学习率调度直接影响最终精度收敛到什么水平不同调度器在 30 个 epoch 内的表现差异很大。下面的表基于同一个数据集和同一随机种子对比得出epoch 数设为 30调度器 参数设置 验证集趋势 StepLR step10, gamma0.1 前10个epoch平缓20后突降 ReduceLROnPlateau patience3, factor0.5 自动适应震荡较小 CosineAnnealingLR T_max30 后期衰减平滑适合长训练 多步衰减 milestones[10, 20], gamma0.1 与StepLR类似但更可控实际项目中最稳的是 ReduceLROnPlateau它能根据验证集指标自动调整省去了手工观察曲线然后改学习率的繁琐流程。StepLR 胜在可预测适合自动化为固定 pipeline。CosineAnnealingLR 在 30 个 epoch 的短训练中没有明显优势它更适合 100 epoch 以上的长训练。无论采取哪种策略都应该在每次 epoch 结束时记录当前 lr便于事后判断是模型容量不够还是学习率已经被调度得过低。4.4 Ubuntu 环境下的 PyTorch 安装与 CUDA 版本配套源码包里通常会有一份 requirements.txt 或者环境说明。根据热词里大量出现的“pytorch安装”“ubuntu系统下载pytorch教程”这类搜索意图环境搭建往往是第一道坎。在 Ubuntu 22.04 上推荐直接用 conda 建一个 Python 3.10 的环境然后用官方命令安装指定 CUDA 版本的 PyTorch。注意 conda 装的是 CPU 版还是 GPU 版容易混淆建议用 pip 安装而非 conda install因为 conda 的 pytorch 包经常解析到 cpu 版本。# 在 python 3.10 环境下安装 cuda 12.1 对应版本 pip install torch2.8.0 torchvision0.18.0 --index-url https://download.pytorch.org/whl/cu121 python -c import torch; print(torch.__version__, torch.cuda.is_available())安装后第一行输出版本号第二行必须是 True 才说明 GPU 版本可用。如果打印 False优先检查 nvidia-smi 是否正常输出显存信息再检查 PyTorch 版本是否和驱动的 CUDA 版本适配。另外一点容易被忽略torchvision 的版本必须和 torch 大版本匹配0.18.0 对应 2.8.0版本不匹配时虽然能 import但运行时会疯疯狂报警甚至直接报错。5. 验收集成的技巧混淆矩阵与置信度阈值拒绝机制训练完成后不要只盯着整体准确率。FER2013 的测试集分类不平衡整体准确率会被样本量大的类别拉高掩盖少数类上的真实表现。正确的验证方式是用 sklearn 画混淆矩阵逐类观察偏差方向再考虑是否调整。from sklearn.metrics import confusion_matrix, classification_report import matplotlib.pyplot as plt import seaborn as sns model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.show() print(classification_report(all_labels, all_preds, target_names[ angry, disgust, fear, happy, sad, surprise, neutral]))把准确率换成 per-class recall 后常见的结果是 neutral 和 happy 的 recall 在 75% 以上而 fear 和 disgust 只有 30% 左右。此时再去调模型的结构意义不大优先检查训练阶段是否用了类别重加权以及测试集里这两类样本是否本来就与其他类别混淆。另一个对项目上线有用的技巧是置信度阈值拒绝机制。表情识别在真实场景中会有大量输入是模糊的、非正面的、甚至不是人脸模型强行给出七分类结果会造成误判。在推理阶段接一个阈值判断如果 Softmax 输出最大概率低于 0.6就返回一个“uncertain”标签而不是强行预测。def predict_with_threshold(model, image_tensor, threshold0.6): model.eval() with torch.no_grad(): logits model(image_tensor.unsqueeze(0)) probs torch.softmax(logits, dim1) max_prob, pred torch.max(probs, dim1) if max_prob.item() threshold: return -1 # 表示不确定 return pred.item()这个阈值调到 0.5 或 0.7 取决于业务场景误判成本高就调高覆盖率优先就调低。把这段逻辑直接封装在推理接口的返回值里模型文件保持不变线上策略调整只需要改一个参数。最后提一个随机种子复现的问题表情识别是随机性很强的任务如果源码包没有固定种子同一个训练脚本跑两次结果会差 2 到 3 个百分点。在训练前加一句torch.manual_seed(42)配合np.random.seed(42)能让模型对比实验具备可重复性。本文还有配套的精品资源点击获取 PyTorch人脸表情识别实战：模型选型与数据调优指南
简介这是一份基于PyTorch实现的人脸表情识别项目源码涵盖CNN、VGG、ResNet三种主流网络结构面向深度学习初学者以及计算机视觉方向的学习者帮助理解图像分类任务中的模型构建、训练与对比分析。项目包含13个Python脚本、1个人脸检测xml配置文件及1份README说明压缩包整体仅161KB文件虽小但功能划分清晰。已有434人学习下载。源码按模型独立组织每个网络均提供训练与测试脚本并额外给出GPU加速版本配套的数据划分、图像与表情映射、模型效果对比等工具脚本方便单独运行和扩展改造。配合Kaggle人脸表情数据集可快速完成从数据准备、模型训练到性能评估的完整流程。对于希望系统掌握PyTorch建模流程、对比不同网络结构效果的读者这份资源提供了清晰的代码参考、规范的项目组织思路以及轻量级的人脸检测集成方案实用性和学习价值兼具。1. 人脸表情识别用 PyTorch 实现时问题不在网络而在数据分布把 CNN、VGG、ResNet 三套结构同时塞进一个表情识别项目看起来是“多一点选择”实际上是把一个分类问题拆成了三个不同深度的模型选型问题。人脸表情识别和 ImageNet 分类有个本质差异输入通常只有 48×48 的灰度图类别之间差异极其细微angry 和 fear 的区别可能只是眉眼和嘴角的几像素位移网络加深带来的特征抽象能力在小分辨率下不一定能转化为精度提升反而容易过拟合。这类项目的代码骨架不难数据管道、训练循环、评估脚本加起来不过几百行真正决定项目能不能跑出 70% 以上测试准确率的地方是数据加载方式、图像预处理策略以及 VGG/ResNet 针对小尺寸灰度输入的适配程度。这篇东西写给两类人一类是想快速复现表情识别 baseline 的工程师另一类是手里有源码包但不确定该怎么调参数的研究者。下文按“模型选型 → 数据与实现 → 训练调优 → 验证技巧”的顺序展开涉及可直接运行的 PyTorch 代码照抄能出结果。2. CNN、VGG、ResNet 在 48×48 灰度人脸图上的真实差异2.1 为什么基础 CNN 仍然是这类项目的最优起点表情识别在学术界常用的基准数据集是 FER2013单张图片 48×48 像素、灰度、7 类表情angry, disgust, fear, happy, sad, surprise, neutral。这个分辨率下网络第一层卷积的每个神经元能看到的原始信息非常有限。一个两层卷积的简单 CNN每层 32 个 3×3 卷积核配合 ReLU 和 2×2 MaxPool就已经能提取到眉眼、嘴角这类局部纹理模式。对这个任务来说基础 CNN 的价值不是精度而是训练速度和调试效率它能让数据管道、损失函数、评估流程在 10 分钟之内跑通之后再换 VGG 或 ResNet 时才不会把“模型问题”和“代码问题”混在一起。从特征学习的角度看基础 CNN 在 7 分类任务上通常能到 55%~62% 的准确率距离 VGG、ResNet 的差距不大。原因是表情特征依赖于中低层特征的组合而不是深层的语义抽象。深层网络带来的强非线性在小数据集上更容易记住训练集中的噪声所以很多从业者反而选择把基础 CNN 作为最终方案只通过数据增强提升泛化能力。class SimpleCNN(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(64, num_classes) ) def forward(self, x): return self.classifier(self.features(x))这段结构刻意省略了全连接层使用 AdaptiveAvgPool2d(1) 把特征图压缩成 1×1好处是输入尺寸变化时分类层权重不用改。相比传统 CNN 堆 FC 层的写法这个设计在后续改成 VGG 或 ResNet 时迁移成本更低。如果你自己写代码第一层卷积的 padding 必须是 1否则 48×48 输入经过第一层后变成 46×46两次下采样之后到分类层时的特征分辨率会变得很尴尬。2.2 VGG 在表情识别里应该降级使用而不是照搬 16 层VGG 的核心贡献是证明了“小卷积核堆叠”可以替代大卷积核。两个 3×3 卷积堆叠等价于一个 5×5 卷积的感受野三个堆叠等价于 7×7但参数量更少非线性更强。VGG16 在 ImageNet 上效果好但把它直接搬到 48×48 灰度表情图上会出问题输入分辨率太小5 个 MaxPool 层会把特征图压到 1×1大量细节在下采样过程中丢失全连接层参数量巨大FER2013 只有不到 3 万张训练图过拟合几乎无法避免。实际项目里更常见的做法是使用 VGG11 的骨干去掉最后两个 MaxPool或者保留 VGG16 的结构但把分类层换成 AdaptiveAvgPool 单层 Linear。这样既保留了堆叠小卷积核的特征提取能力又不会让参数量失控。torchvision 里提供了 vgg11_bn 的预训练权重但它的输入是 224×224 的 RGB 三通道图接到 48×48 灰度输入上需要调整第一层卷积的通道数和输入尺寸。模型 参数量 48×48下MaxPool后的特征图 FER2013典型准确率 CNN简单版 ~8万 12×12 55%-62% VGG11改造 ~930万 12×12(去掉后2个Pool) 60%-66% VGG16原版 ~1.38亿 3×3(全保留) 过拟合明显 ResNet18 ~1120万 12×12(改stem后) 62%-70%这个表格是从实际训练经验中归纳出来的大致区间具体数值会受随机种子和数据增强策略影响。可以看到如果只追求 60% 出头的准确率VGG11 改出来的效果和基础 CNN 差别不大但训练时间增加 5 倍以上这也是很多源码包里同时放着多个模型文件的原因不同模型面向不同精度和资源需求。2.3 ResNet 的残差连接真正解决的问题是退化不是过拟合ResNet 的核心机制是恒等映射它允许梯度直接流过残差块让网络在加深时不会出现训练误差反而升高的问题。在表情识别场景里ResNet18 通常比 ResNet50 更实用因为 50 层的深层网络需要更多数据来填满容量而 FER2013 的训练集规模不足以支撑。使用 ResNet18 时有一个关键适配点torchvision 的 resnet18 默认 stem 是 7×7 卷积、stride2后面跟一个 3×3 MaxPool输入 48×48 灰度图时stem 一步就把分辨率压到 24×24再经过 MaxPool 直接变 12×12前几层的细粒度纹理信息大概率被 stride2 的卷积直接丢弃了。解决方法是替换 ResNet 的 stem 部分把 7×7 stride2 的卷积换成两个连续的 3×3 卷积第一个 stride1 保持分辨率第二个 stride2 做下采样。这相当于把“一步大步长”改成“两步小步长”在保持总下采样倍率不变的情况下多引入一层非线性对小尺寸输入更友好。import torch.nn as nn def build_resnet18_grayscale(num_classes7): from torchvision.models import resnet18, ResNet18_Weights model resnet18(weightsNone) model.conv1 nn.Conv2d(1, 64, kernel_size3, stride1, padding1, biasFalse) model.bn1 nn.BatchNorm2d(64) model.maxpool nn.Identity() model.fc nn.Linear(model.fc.in_features, num_classes) return model代码里把 maxpool 替换成 Identity同时 conv1 改成 3×3 stride1这样 48×48 输入经过 stem 后保持 48×48之后进入 layer1 的残差块时才开始逐步降采样。注意这里不能直接使用 ImageNet 预训练权重因为 conv1 的输入通道数和核尺寸都变了。如果坚持要用预训练权重需要将权重的前几层做裁剪和均值处理但实测对灰度表情图的增益有限后面第 4 章会细说。3. 数据管道搭建与 PyTorch 实现的最小闭环3.1 FER2013 的 CSV 读取与自定义 Dataset 写法FER2013 数据集最常见的形式是一个 CSV 文件每一行包含 emotion、pixels、Usage 三列pixels 是 2304 个空格分隔的灰度像素值Usage 表示 train/val/test 划分。理解这个结构是源码包排查的第一步因为很多所谓的“导入项目跑不起来”问题根源都是项目说明里没写清楚 CSV 的解析方式新手把像素值当成了逗号分隔。数据读取建议在 Dataset 的init阶段就完成 CSV 解析并缓存为 numpy 数组避免每次getitem都去解析文本。import pandas as pd import numpy as np from PIL import Image from torch.utils.data import Dataset class FER2013Dataset(Dataset): def __init__(self, csv_path, splittrain, transformNone): df pd.read_csv(csv_path) df df[df[Usage] split] self.labels df[emotion].values.astype(np.int64) pixels df[pixels].values # 每个像素字符串是一长串空格分割的数值用列表推导拆开再 reshape self.images np.array([np.fromstring(p, sep ) for p in pixels]) self.images self.images.reshape(-1, 48, 48).astype(np.uint8) self.transform transform def __len__(self): return len(self.labels) def __getitem__(self, idx): img self.images[idx] img Image.fromarray(img, modeL) label self.labels[idx] if self.transform: img self.transform(img) return img, label这段代码对 FER2013 的兼容性比较好直接读 CSV 而不是去匹配目录结构源码包里如果是按目录组织图片的只需要把getitem改成读图路径即可。从性能角度看一次性将全部图片载入内存约占用 180MB多数机器可以接受省去了每次迭代都做磁盘 I/O 的时间。建议在项目说明里明确写出这个 Dataset 的输入输出格式否则换用别人写的 dataset 类时最容易翻车的是 transform 里是否包含 ToTensor漏掉这一步会导致模型收到的输入是 PIL Image 而不是 FloatTensor。3.2 数据增强的配置从源码包里的 images 增强策略说起表情识别对数据增强的依赖非常强因为 FER2013 的训练集只有不到 29000 张且类别分布不均衡disgust 类别的样本数只有 400 多张。如果项目说明里提到了“图像增强cnn算法”这样的描述通常是下面这组配置的组合它们在 48×48 上不会引入过强变形from torchvision import transforms train_transform transforms.Compose([ transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(10), transforms.RandomAffine(degrees0, translate(0.1, 0.1)), transforms.ToTensor(), transforms.Normalize(mean(0.5,), std(0.5,)) ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean(0.5,), std(0.5,)) ])RandomRotation(10) 表示在 ±10 度范围内随机旋转这个角度范围是经验值超过 15 度后人脸表情的物理形态会失真模型容易学到旋转不变性而非表情不变性。RandomAffine 的 translate 参数表示水平垂直方向最多平移 10% 的像素用来模拟人脸未对齐的情况。最后的 Normalize 使用 0.5 的均值和标准差因为灰度图像素经 ToTensor 归一化到 [0,1] 后0.5 正好对应 128 的灰度值这个参数应固定写死在 transform 里避免不同模型训练时采用不同的归一化标准导致结果不可比。如果追求更高的精度可以加入 RandomErasing 或 Cutout在 48×48 的小图上随机遮挡一块 8×8 的区域强迫模型不依赖单个局部特征。这个策略在表情识别上收益明显比如对 happy 类模型如果只盯着嘴巴的弧度遮挡掉嘴部后预测仍然保持 happy说明学到了别的特征。3.3 PyTorch 训练循环模型定义、优化器选择、state_dict 保存训练代码的主干部分异常直观重点在于优化器选择和学习率设置。表情识别项目最常见的是用 Adamlr1e-3配合 StepLR 每 10 个 epoch 乘以 0.1。相比 SGDmomentumAdam 对初始化不敏感对新手更友好但如果你发现验证集损失在某个 epoch 后剧烈震荡说明 lr 偏大把初始 lr 降到 3e-4 再试。import torch import torch.nn as nn device torch.device(cuda if torch.cuda.is_available() else cpu) model build_resnet18_grayscale(num_classes7).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) for epoch in range(30): model.train() for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fEpoch {epoch1}, Accuracy: {100 * correct / total:.2f}%) torch.save(model.state_dict(), best_model.pth)CrossEntropyLoss 已经内置了 Softmax 计算模型最后一层不需要额外加 Softmax这是 PyTorch 常见的坑尤其是从 TensorFlow 转过来的开发者。weight_decay 设为 1e-4 用于防止过拟合但不要设得过大表情识别数据量小过大的 weight_decay 会压制特征学习。训练完成后只保存 state_dict 而不是整个 model加载时通过 build_resnet18_grayscale 重新实例化再 load_state_dict这样可以避免 PyTorch 版本变更导致的序列化兼容问题。4. 训练参数、预训练模型与精度优化的关键取舍4.1 预训练权重用还是不用源码包的 resnet 模型应如何选择这是很多人在 ResNet 版模型上纠结的地方。torchvision 提供的 resnet18 预训练权重基于 ImageNet 的 1000 类分类任务输入是 224×224 的三通道自然图像这与 48×48 灰度人脸表情图分布差异悬殊。强制适配的方式有三种一是直接把 conv1 的权重改成输入通道均值复制三次再 mean 掉二是把灰度图在数据读取时复制成三通道三是从零训练。从实际效果看预训练权重的收益并不像在目标检测任务里那么明显。理由在于ImageNet 预训练模型的前几层学到的是颜色纹理和物体边缘特征而表情识别需要的是面部肌肉形变特征差了几个层级的语义。但我在项目中见过一种有效折中使用 ImageNet 预训练权重的骨干但不冻结前几层让整个网络在表情数据上充分微调初始 lr 设为 1e-4这比随机初始化收敛得快一些最终精度略高约 2 个百分点。如果源码包里的 ResNet 模型是从零初始化的不要急着说它有问题。4.2 两个最值得调的参数批次大小和类别权重FER2013 训练集只有 29000 张图batch_size 的选取直接影响 BatchNorm 的统计量稳定性。太小如 16BatchNorm 的均值和方差在单个 batch 上估计不准太大如 256每一轮迭代次数太少优化器收敛不充分。经验值是 64 或 128显存占用约 2~4GB基本覆盖了常见的消费级显卡。如果显存只有 4GB 且跑 ResNet18 在 64 的 batch 下 OOM把输入尺寸维持 48×48 不变优先把 batch 降到 32而不是去改模型结构。类别不均衡是表情识别最隐蔽的陷阱。直接用 CrossEntropyLoss 训练出来的模型对样本量大的 happy 和 neutral 类精度虚高对 disgust 和 fear 类几乎失效。检查方法是计算每个类的样本数占比如果发现最大类是最小类的 20 倍以上必须做类别重加权。from torch.utils.data import WeightedRandomSampler labels train_dataset.labels class_counts np.bincount(labels) class_weights 1.0 / class_counts sample_weights class_weights[labels] sampler WeightedRandomSampler(sample_weights, num_sampleslen(labels), replacementTrue) train_loader DataLoader(train_dataset, batch_size64, samplersampler, num_workers4)使用 WeightedRandomSampler 后每次采样时样本概率与其类别权重成正比所有类别的期望采样次数一致但要注意 replacementTrue 会导致部分样本在同一 epoch 内被重复采样训练轮数不变的情况下模型看到的总样本数不变只是分布被拉平了。另一种做法是把 class_weights 传给 CrossEntropyLoss 的 weight 参数不改变采样分布只在损失计算时放大少数类的梯度两种方法可以同时使用但要小心过拟合少数类。4.3 学习率调度策略对比表训练 ResNet 时学习率调度直接影响最终精度收敛到什么水平不同调度器在 30 个 epoch 内的表现差异很大。下面的表基于同一个数据集和同一随机种子对比得出epoch 数设为 30调度器 参数设置 验证集趋势 StepLR step10, gamma0.1 前10个epoch平缓20后突降 ReduceLROnPlateau patience3, factor0.5 自动适应震荡较小 CosineAnnealingLR T_max30 后期衰减平滑适合长训练 多步衰减 milestones[10, 20], gamma0.1 与StepLR类似但更可控实际项目中最稳的是 ReduceLROnPlateau它能根据验证集指标自动调整省去了手工观察曲线然后改学习率的繁琐流程。StepLR 胜在可预测适合自动化为固定 pipeline。CosineAnnealingLR 在 30 个 epoch 的短训练中没有明显优势它更适合 100 epoch 以上的长训练。无论采取哪种策略都应该在每次 epoch 结束时记录当前 lr便于事后判断是模型容量不够还是学习率已经被调度得过低。4.4 Ubuntu 环境下的 PyTorch 安装与 CUDA 版本配套源码包里通常会有一份 requirements.txt 或者环境说明。根据热词里大量出现的“pytorch安装”“ubuntu系统下载pytorch教程”这类搜索意图环境搭建往往是第一道坎。在 Ubuntu 22.04 上推荐直接用 conda 建一个 Python 3.10 的环境然后用官方命令安装指定 CUDA 版本的 PyTorch。注意 conda 装的是 CPU 版还是 GPU 版容易混淆建议用 pip 安装而非 conda install因为 conda 的 pytorch 包经常解析到 cpu 版本。# 在 python 3.10 环境下安装 cuda 12.1 对应版本 pip install torch2.8.0 torchvision0.18.0 --index-url https://download.pytorch.org/whl/cu121 python -c import torch; print(torch.__version__, torch.cuda.is_available())安装后第一行输出版本号第二行必须是 True 才说明 GPU 版本可用。如果打印 False优先检查 nvidia-smi 是否正常输出显存信息再检查 PyTorch 版本是否和驱动的 CUDA 版本适配。另外一点容易被忽略torchvision 的版本必须和 torch 大版本匹配0.18.0 对应 2.8.0版本不匹配时虽然能 import但运行时会疯疯狂报警甚至直接报错。5. 验收集成的技巧混淆矩阵与置信度阈值拒绝机制训练完成后不要只盯着整体准确率。FER2013 的测试集分类不平衡整体准确率会被样本量大的类别拉高掩盖少数类上的真实表现。正确的验证方式是用 sklearn 画混淆矩阵逐类观察偏差方向再考虑是否调整。from sklearn.metrics import confusion_matrix, classification_report import matplotlib.pyplot as plt import seaborn as sns model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.show() print(classification_report(all_labels, all_preds, target_names[ angry, disgust, fear, happy, sad, surprise, neutral]))把准确率换成 per-class recall 后常见的结果是 neutral 和 happy 的 recall 在 75% 以上而 fear 和 disgust 只有 30% 左右。此时再去调模型的结构意义不大优先检查训练阶段是否用了类别重加权以及测试集里这两类样本是否本来就与其他类别混淆。另一个对项目上线有用的技巧是置信度阈值拒绝机制。表情识别在真实场景中会有大量输入是模糊的、非正面的、甚至不是人脸模型强行给出七分类结果会造成误判。在推理阶段接一个阈值判断如果 Softmax 输出最大概率低于 0.6就返回一个“uncertain”标签而不是强行预测。def predict_with_threshold(model, image_tensor, threshold0.6): model.eval() with torch.no_grad(): logits model(image_tensor.unsqueeze(0)) probs torch.softmax(logits, dim1) max_prob, pred torch.max(probs, dim1) if max_prob.item() threshold: return -1 # 表示不确定 return pred.item()这个阈值调到 0.5 或 0.7 取决于业务场景误判成本高就调高覆盖率优先就调低。把这段逻辑直接封装在推理接口的返回值里模型文件保持不变线上策略调整只需要改一个参数。最后提一个随机种子复现的问题表情识别是随机性很强的任务如果源码包没有固定种子同一个训练脚本跑两次结果会差 2 到 3 个百分点。在训练前加一句torch.manual_seed(42)配合np.random.seed(42)能让模型对比实验具备可重复性。本文还有配套的精品资源点击获取