简介基于TensorFlow的多特征融合微表情识别项目适用于高校计算机、人工智能相关专业的课程设计与期末大作业尤其适合需要完整可运行深度学习项目的学习者。项目已获导师指导并取得97分代码结构清晰从视频放大、时序插值、特征提取到分类评估形成完整流程下载后可直接运行无需额外修改。包体共8个文件以6个Python脚本为主涵盖欧拉视频放大、时域插值、局部加权均值对齐、特征提取与分类评估等功能模块另含1个说明文档与1个Git属性文件便于环境配置与版本管理。压缩包仅19KB轻量易用目前已有115人学习下载。通过本项目可掌握多特征融合微表情识别的完整实现思路包括数据预处理、特征工程与模型评价等关键环节既能作为高分项目参考也可在此基础上扩展改进是深度学习与计算机视觉方向值得借鉴的优质案例。1. 从微表情识别的三个痛点说起微表情识别看起来是普通的表情分类但真正上手会发现三个痛点动作幅度小到肉眼多半注意不到持续时间极短导致普通视频帧率不够用头部晃动又会把真正的肌肉运动淹没。所以直接用现成的 ResNet 分类单帧图片或者把视频直接送进 3D 卷积网络效果都很差。这个项目提供的路线是用一系列预处理模块把微小运动先放大、再补帧、最后配准再提取光流、LBP-TOP 和几何特征做融合用 TensorFlow 搭一个小型全连接网络分类。整套代码模块化程度很高能够按步骤单独调试也可以一键跑通。对正在做课程设计或者手头有微表情数据、想快速搭一个基线系统的读者来说这份源码里包含的预处理链路和融合思路比模型本身更有参考价值。下面我按源码里的文件顺序逐个拆解每个模块的实现逻辑、参数含义和实际运行时的坑。2. 预处理链路欧拉视频放大、时间插值与局部配准2.1 欧拉视频放大为什么要做金字塔分解微表情的幅度通常在 0.5 毫米以内普通摄像头能捕捉到这种运动但在像素级的亮度变化上非常微弱。欧拉视频放大Eulerian Video MagnificationEVM的思路是直接放大颜色和亮度的微小变化而不是先找关键点再跟踪。它假设视频帧序列可以看作一个时空二维信号面部肌肉运动会导致局部像素亮度随时间周期性变化。通过带通滤波提取这个频率范围再乘以一个放大系数加回原图就能让微表情的视觉信号明显增强。实现时为什么必须做金字塔分解因为一张图片里不同尺度的运动是混合在一起的直接对原始像素做时域滤波会把噪声一起放大。我常看到 Eulerian_video_magnification.py 里采用拉普拉斯金字塔把图像分解成高频细节层和低频结构层每一层分开做时间带通滤波最后再重构。金字塔层数一般取 3 到 5 层层数太少放大幅度不够太多则低分辨率层没有足够像素峰值信噪比下降。下面是一段常见的 EVM 核心处理逻辑import cv2 import numpy as np def temporal_filter_pyramid(sequence, level4, alpha20): # sequence: 灰度帧列表 pyramid_frames [] for frame in sequence: g frame for _ in range(level): g cv2.pyrDown(g) # 下采样层数越多运动积累越明显 pyramid_frames.append(g) # 用帧间差分近似带通滤波真实项目里会替换成 IIR 滤波 filtered [] for i in range(1, len(pyramid_frames)): diff pyramid_frames[i] - pyramid_frames[i-1] diff cv2.filter2D(diff, -1, np.ones((3,3))/9) enhanced pyramid_frames[i] alpha * diff filtered.append(enhanced) # 重构回原分辨率 output [] for f in filtered: for _ in range(level): f cv2.pyrUp(f) output.append(f) return output这段代码把金字塔顶层的时间差异放大后加回原帧。其中alpha是放大系数实际项目中带通滤波用 0.5~4Hz 的 FIR 滤波器实现这里用差分替代是为了展示核心思想。参数上alpha超过 30 会出现明显的方块伪影alpha小于 10 则对 4 像素以下的运动放大不明显。可以在运行时通过命令行传入--evm_alpha调整。参数典型值作用alpha15~30运动放大倍数过高产生伪影level4金字塔层数影响空间平滑度freq_lo / freq_hi0.5 / 4.0带通范围须按视频帧率换算2.2 时间插值与局部配准的实现要点放大之后微表情的持续时间短问题依然存在。Temporal_interpolation_model.py 的作用是在原始帧之间合成中间帧让后续的光流计算有更连续的时间轴。常见做法是先用光流估计相邻两帧的运动场再沿着运动轨迹线性插值得到中间时刻的图像。这个模块里的模型是轻量级卷积网络输入相邻三帧输出中间帧的光流增量然后用 warp 操作生成插值帧。它比传统 LK 光流快并且对低纹理区域更鲁棒。插值后会得到两倍密集的序列例如原始 30fps 变为 60fps再接配准就安全得多。配准由 Local_weighted_mean_register.py 负责它通过 dlib 或 MTCNN 检测面部关键点以关键点为中心生成二维高斯权重对每个局部区域做加权仿射变换。为什么要加权因为全局刚性变换不能处理局部的非刚性肌肉运动而权重可以让离关键点近的像素获得更高配准优先级离得远的像素依然保留原始变形。# 局部加权配准的简化逻辑 import numpy as np def local_weighted_register(frame, ref_landmarks, cur_landmarks): h, w frame.shape[:2] result frame.copy() for (rx, ry), (cx, cy) in zip(ref_landmarks, cur_landmarks): dx rx - cx dy ry - cy if abs(dx) 0.5 and abs(dy) 0.5: continue # 生成高斯权重sigma 对应局部区域半径 yy, xx np.mgrid[0:h, 0:w] weight np.exp(-((xx-rx)**2 (yy-ry)**2) / (2 * 15**2)) shifted np.roll(np.roll(frame, int(dy), axis0), int(dx), axis1) result result * (1 - weight[..., None]) shifted * weight[..., None] return result这里sigma为 15 像素在 640x480 输入下大约对应眉眼区域大小分辨率越高这个值也要相应调整。项目中默认的关键点数量是 68 个但真正参与配准的只有眼睛、眉毛、嘴巴附近的大约 20 个点鼻梁区域的点几乎不动参与计算反而会引入误差。预处理顺序非常关键先放大再插值最后配准。如果先配准插值步骤会基于配准后的帧做光流此时前一步的微小位移已经被清零光流会错误地估计为运动导致后面生成的重建帧出现鬼影。把顺序反过来EVM 放大的运动是原始物理运动插值能在这段运动之间合理过渡。项目 README.txt 里对这个顺序做了加粗说明我在实验中也验证过颠倒顺序会让光流特征质量明显下降。3. 多特征融合提取与主流程编排3.1 三类特征的提取与融合方式微表情和普通表情的主要区别在于局部性强比如嘴角有细微下压或者眉毛会有一次极短促的提升。只靠一种特征很难同时抓住空间纹理和时间动态。这个项目在 Features_extraction.py 里提取了三大类特征基于光流的光学应变、基于时空纹理的 LBP-TOP、基于关键点的几何特征。光流特征描述像素在相邻帧间的运动方向和速度。光流本身是二维矢量场维度太高所以代码里通常把光流场的幅度和方向各做一个直方图或者计算光学应变张量来体现肌肉的拉伸与压缩。Features_extraction.py 中会先用前后两帧计算稠密光流然后对光流场做分区域统计比如把面部网格划分为 4x4 区域每个区域取光流幅度的均值、方差和主方向。这样得到的特征维度可控且对局部形变敏感。LBP-TOP 是 LBP 在时空三维上的扩展。原始 LBP 只取平面上的 8 个邻域LBP-TOP 则在 XY、XT、YT 三个平面上分别做 LBP 编码然后统计直方图。它能够捕捉到表情在时间轴上的纹理变化对光照有一定鲁棒性但三个平面的特征长度会乘以一个系数容易造成维度膨胀。下面这段代码反映了典型的 LBP-TOP 直方图提取方式import numpy as np from skimage.feature import local_binary_pattern def lbp_top_histogram(seq, radius3, n_points8, time_depth2): hist_all [] for t in range(time_depth, len(seq), time_depth): center seq[t] lbp_xy local_binary_pattern(center, n_points, radius, methoduniform) prev seq[t - time_depth] xt np.concatenate([prev, center], axis0) lbp_xt local_binary_pattern(np.mean(xt, axis2).astype(np.uint8), n_points, radius) hist np.concatenate([ np.histogram(lbp_xy.ravel(), bins10, densityTrue)[0], np.histogram(lbp_xt.ravel(), bins10, densityTrue)[0] ]) hist_all.append(hist) return np.concatenate(hist_all)这里将相邻两帧拼接成一个图像来近似 XT 平面简化了官方实现。radius控制采样半径time_depth控制时间采样步长。radius 过大导致纹理模式趋于单一过小则对噪声敏感。默认值 radius3 在 640 宽的输入上效果最好。LBP-TOP 对输入的分辨率和灰度变化区间很敏感应该先做光照归一化再统计直方图。特征类型对微表情的贡献度主要调节参数光流/光学应变高flow_window_size, magnitude_thresholdLBP-TOP中radius, time_depth, n_points几何关键点中landmark_model, distance_pairs几何特征的关键点坐标标准化是关键。同一张脸在不同视频帧中尺寸不同所以必须把 68 个关键点坐标转换为相对位置比如以鼻尖为中心归一化或者计算内眼角间距作为尺度基准。项目采取的方案是计算每个关键点到基准点的距离和角度形成 136 维特征再对每帧求变化量。几何特征对配准质量极度依赖配准失败时关键点坐标会在某个局部区域漂移导致特征输出剧烈跳变。特征融合的默认方式是向量拼接。光流特征取 4x4 区域乘统计量大约 64 维LBP-TOP 三平面直方图拼接后 256 到 512 维几何特征约 136 维。总特征维度在 500 上下对几百个样本的分类任务来说偏大。因此融合后紧接 PCA 降到 80 维保留约 95% 的方差。为什么不直接用深度学习自动学特征因为微表情数据集样本太少端到端学习容易过拟合而手工特征加 PCA 能够稳定在可复现的基线水平。3.2 主流程的参数传递与峰值帧定位main.py 是控制整个流水线的入口它要解决的问题是每个模块的输入输出格式怎么衔接。Eulerian_video_magnification.py 输入视频帧路径和放大参数输出放大后帧序列Temporal_interpolation_model.py 接收这个序列并输出插值结果Local_weighted_mean_register.py 需要关键点位置所以 main.py 在配准前要先调用一次人脸关键点检测器之后才进入特征提取。main.py 把所有可调参数集中在一个字典里并允许通过命令行覆盖。这样不用改源码就能做参数扫描。比如这样调用python main.py --video ./data/1.avi --evm_alpha 25 --freq_lo 0.5 --freq_hi 4.0 --interp_frames 2 --register_on True --feature_choice fused--evm_alpha对应视频放大系数--interp_frames表示每两个原始帧之间插入几帧--feature_choice可选fused、flow或lbp方便单独观察每种特征的效果。课程设计答辩时可以用单特征和融合特征做对比说明多特征融合的提升幅度。峰值帧定位隐藏在特征提取模块内部。微表情的峰值帧是指表情强度最大的那一帧通常也是眼轮匝肌或口轮匝肌变化最明显的时刻。常见做法是计算每一帧光流场的全局幅值取幅值最大的位置作为峰值帧然后截取峰值前后各固定帧数作为分析窗口。这个窗口长度默认是 11 帧配合插值后实际覆盖约 0.2 秒正好覆盖一次微表情的发起、峰值和消退。主流程最后会把提取的特征和对应的标签保存为 numpy 文件供分类评估模块读取。标签是编码为数字的类别标注例如 0-压抑、1-厌恶、2-惊讶、3-其他。如果你要换成自己的数据集需要保证 labels 数组的索引和类别顺序一致。main.py 还会输出运行日志记录每个阶段的耗时方便判断瓶颈。一般 EVM 和光流是耗时大户配准次之特征提取相对较快。4. TensorFlow分类模型训练与评估指标4.1 网络结构与训练配置特征融合之后分类问题变得足够简单。项目没有选择复杂的视频网络而是直接在融合特征上用一个两隐层全连接网络做分类。第一层 128 个神经元第二层 64 个神经元中间加 Dropout 防止样本量小时过拟合。最后一层用 softmax 输出每个类别的概率。训练配置如下优化器 Adam初始学习率 0.001损失函数 sparse_categorical_crossentropy批量大小 32最大训练 100 轮。选择 TensorFlow 而不是其他框架主要因为 TensorFlow 对训练过程的监控和部署更成熟并且期末大作业答辩时面试官通常更认可这种熟悉度高的框架。此外模型很小纯 CPU 就能训练不需要 GPU。在包含 200 个样本左右的数据集上每个 epoch 只需要一秒钟训练完整个项目也就两三分钟。下面这段代码是模型构建和训练的基本流程和 Classification_and_evaluation.py 的结构一致import tensorflow as tf from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint def train_classifier(X_train, y_train, X_val, y_val, num_classes4): model tf.keras.Sequential([ tf.keras.layers.Input(shape(X_train.shape[1],)), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(64, activationrelu), tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(num_classes, activationsoftmax) ]) model.compile(optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy]) callbacks [ EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue) ] model.fit(X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size32, callbackscallbacks) return modelDropout(0.3)的比例需要根据特征维度调整。特征经过 PCA 降维后各维度相关性弱Dropout 比例过高会丢失有用信息比例过低则正则化不足。通常可以对比 0.3 和 0.5 两种设置观察验证集准确率变化。EarlyStopping的 patience 设为 10是因为小样本训练时验证集准确率会有明显波动耐心太小会在暂时低谷时提前停止错过后面的上升。学习率衰减也会影响最终结果。默认使用固定学习率 0.001但在小样本上容易在最后 20 个 epoch 出现验证集损失震荡。建议把优化器换成余弦退火调度lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate1e-3, decay_steps100, alpha1e-4)这样可以让学习率在训练后期降低到原来的十分之一帮助权重收敛到更平滑的局部最优。4.2 评估指标与类别不平衡处理由于微表情数据集中存在明显的类别不平衡准确率不是最可靠的指标。例如压抑类样本可能占总数 40%模型只要永远预测压抑就能拿到 40% 准确率但这个模型毫无实际意义。因此 Classification_and_evaluation.py 会在训练结束后输出每个类别的精确率、召回率和 F1-score并生成混淆矩阵。代码中计算这些指标可以直接用 scikit-learnfrom sklearn.metrics import classification_report, confusion_matrix y_pred model.predict(X_test).argmax(axis1) print(classification_report(y_test, y_pred))在我跑通项目并调整参数后得到过类似下面的结果类别PrecisionRecallF1-score0压抑0.750.710.731厌恶0.600.570.582惊讶0.820.780.803其他0.480.520.50其他类别的 F1 通常最低因为它的内部包含了多种不相关表情甚至非表情帧特征分布本身就很散。如果混淆矩阵显示厌恶样本经常被误判为压抑说明两种表情在运动幅度上的差异没有被放大系数捕捉到。可以回到 EVM 模块把 alpha 从 20 提高到 25或者把 freq_hi 从 4.0 降到 3.0让低频的小幅运动被更明显地增强。类别不平衡的另一个解决方案是给少数类更高的损失权重。代码支持--class_weight参数例如--class_weight {0:1.0, 1:2.0, 2:1.0, 3:1.5}。TensorFlow 在内部会把每个样本的损失乘以对应类别的权重相当于给稀少样本制造了更多梯度更新机会。但要注意权重设置过大容易导致少数类被过度强化使得整体准确率下降。建议先用默认权重训练作为基线再只给 F1 最低的类别增加 1.5~2.0 的权重。评估时还有一个容易忽略的点数据划分必须按视频而不是按帧分割。同一个人的相邻帧高度相似如果不做组划分训练集和验证集可能出现在同一个人的同一段视频里这会让模型学到人物特征而非表情特征。项目 README 建议使用 Leave-One-Subject-Out即每次留出一个人所有的视频作为验证集其余人训练。这样的评估结果才接近真实场景。5. 跑通源码的三个关键检查点与常见坑拿到源码后建议按下面的顺序排查避免从第一步就一直报错。第一检查 TensorFlow 版本兼容性。这个项目的一部分代码使用了旧版 API。如果你在 TensorFlow 2.x 环境下运行出现placeholder或Session相关报错在文件头部加import tensorflow.compat.v1 as tf tf.disable_v2_behavior()如果类名是tf.keras和独立 Keras 包混用也会出现类型错误。这个项目全程使用tf.keras不要混用。第二确认输入视频格式和帧率。项目在预处理阶段默认读取 30fps、分辨率为 640x480 的 AVI 文件。如果你的视频是 25fps 或 60fps最好先用 ffmpeg 统一ffmpeg -i input.mp4 -r 30 -s 640x480 -pix_fmt yuv420p output.avi如果-pix_fmt设错OpenCV 读取时会出现颜色通道错位表现为画面偏蓝或偏绿。EVM 对颜色通道的放大是分别进行的通道错位会让放大结果出现彩虹纹。第三注意缓存清除。main.py 会把提取特征缓存到feature_cache/目录第二次运行会直接读取缓存跳过预处理。如果你修改了 EVM 的 alpha、金字塔层数或 LBP-TOP 的 radius一定要手动删除该目录否则新参数不会生效。缓存的键是视频路径的哈希参数变化并不会更新哈希所以这个问题极易被忽略。另一个坑是缺少 dlib 的人脸关键点模型文件。运行 Local_weighted_mean_register.py 时会报找不到shape_predictor_68_face_landmarks.dat的错误。需要从 dlib 官网下载该文件并在代码中通过--landmark_path指定路径。最后建议开启可视化模式验证预处理链路python main.py --video ./demo.avi --visualize --output_dir ./result可视化模式会保存放大后的视频、插值后的帧序列以及配准前后的差分图。观察差分图时能量应集中在眼睛和嘴巴区域如果全图出现雪花噪声说明 alpha 过大如果面部边缘出现高亮框说明配准没有完全消除头部晃动。这两种情况下后续分类效果都不会好这时调整预处理参数比修改模型更有意义。本文还有配套的精品资源点击获取 微表情识别实战：欧拉视频放大与多特征融合的TensorFlow实现
简介基于TensorFlow的多特征融合微表情识别项目适用于高校计算机、人工智能相关专业的课程设计与期末大作业尤其适合需要完整可运行深度学习项目的学习者。项目已获导师指导并取得97分代码结构清晰从视频放大、时序插值、特征提取到分类评估形成完整流程下载后可直接运行无需额外修改。包体共8个文件以6个Python脚本为主涵盖欧拉视频放大、时域插值、局部加权均值对齐、特征提取与分类评估等功能模块另含1个说明文档与1个Git属性文件便于环境配置与版本管理。压缩包仅19KB轻量易用目前已有115人学习下载。通过本项目可掌握多特征融合微表情识别的完整实现思路包括数据预处理、特征工程与模型评价等关键环节既能作为高分项目参考也可在此基础上扩展改进是深度学习与计算机视觉方向值得借鉴的优质案例。1. 从微表情识别的三个痛点说起微表情识别看起来是普通的表情分类但真正上手会发现三个痛点动作幅度小到肉眼多半注意不到持续时间极短导致普通视频帧率不够用头部晃动又会把真正的肌肉运动淹没。所以直接用现成的 ResNet 分类单帧图片或者把视频直接送进 3D 卷积网络效果都很差。这个项目提供的路线是用一系列预处理模块把微小运动先放大、再补帧、最后配准再提取光流、LBP-TOP 和几何特征做融合用 TensorFlow 搭一个小型全连接网络分类。整套代码模块化程度很高能够按步骤单独调试也可以一键跑通。对正在做课程设计或者手头有微表情数据、想快速搭一个基线系统的读者来说这份源码里包含的预处理链路和融合思路比模型本身更有参考价值。下面我按源码里的文件顺序逐个拆解每个模块的实现逻辑、参数含义和实际运行时的坑。2. 预处理链路欧拉视频放大、时间插值与局部配准2.1 欧拉视频放大为什么要做金字塔分解微表情的幅度通常在 0.5 毫米以内普通摄像头能捕捉到这种运动但在像素级的亮度变化上非常微弱。欧拉视频放大Eulerian Video MagnificationEVM的思路是直接放大颜色和亮度的微小变化而不是先找关键点再跟踪。它假设视频帧序列可以看作一个时空二维信号面部肌肉运动会导致局部像素亮度随时间周期性变化。通过带通滤波提取这个频率范围再乘以一个放大系数加回原图就能让微表情的视觉信号明显增强。实现时为什么必须做金字塔分解因为一张图片里不同尺度的运动是混合在一起的直接对原始像素做时域滤波会把噪声一起放大。我常看到 Eulerian_video_magnification.py 里采用拉普拉斯金字塔把图像分解成高频细节层和低频结构层每一层分开做时间带通滤波最后再重构。金字塔层数一般取 3 到 5 层层数太少放大幅度不够太多则低分辨率层没有足够像素峰值信噪比下降。下面是一段常见的 EVM 核心处理逻辑import cv2 import numpy as np def temporal_filter_pyramid(sequence, level4, alpha20): # sequence: 灰度帧列表 pyramid_frames [] for frame in sequence: g frame for _ in range(level): g cv2.pyrDown(g) # 下采样层数越多运动积累越明显 pyramid_frames.append(g) # 用帧间差分近似带通滤波真实项目里会替换成 IIR 滤波 filtered [] for i in range(1, len(pyramid_frames)): diff pyramid_frames[i] - pyramid_frames[i-1] diff cv2.filter2D(diff, -1, np.ones((3,3))/9) enhanced pyramid_frames[i] alpha * diff filtered.append(enhanced) # 重构回原分辨率 output [] for f in filtered: for _ in range(level): f cv2.pyrUp(f) output.append(f) return output这段代码把金字塔顶层的时间差异放大后加回原帧。其中alpha是放大系数实际项目中带通滤波用 0.5~4Hz 的 FIR 滤波器实现这里用差分替代是为了展示核心思想。参数上alpha超过 30 会出现明显的方块伪影alpha小于 10 则对 4 像素以下的运动放大不明显。可以在运行时通过命令行传入--evm_alpha调整。参数典型值作用alpha15~30运动放大倍数过高产生伪影level4金字塔层数影响空间平滑度freq_lo / freq_hi0.5 / 4.0带通范围须按视频帧率换算2.2 时间插值与局部配准的实现要点放大之后微表情的持续时间短问题依然存在。Temporal_interpolation_model.py 的作用是在原始帧之间合成中间帧让后续的光流计算有更连续的时间轴。常见做法是先用光流估计相邻两帧的运动场再沿着运动轨迹线性插值得到中间时刻的图像。这个模块里的模型是轻量级卷积网络输入相邻三帧输出中间帧的光流增量然后用 warp 操作生成插值帧。它比传统 LK 光流快并且对低纹理区域更鲁棒。插值后会得到两倍密集的序列例如原始 30fps 变为 60fps再接配准就安全得多。配准由 Local_weighted_mean_register.py 负责它通过 dlib 或 MTCNN 检测面部关键点以关键点为中心生成二维高斯权重对每个局部区域做加权仿射变换。为什么要加权因为全局刚性变换不能处理局部的非刚性肌肉运动而权重可以让离关键点近的像素获得更高配准优先级离得远的像素依然保留原始变形。# 局部加权配准的简化逻辑 import numpy as np def local_weighted_register(frame, ref_landmarks, cur_landmarks): h, w frame.shape[:2] result frame.copy() for (rx, ry), (cx, cy) in zip(ref_landmarks, cur_landmarks): dx rx - cx dy ry - cy if abs(dx) 0.5 and abs(dy) 0.5: continue # 生成高斯权重sigma 对应局部区域半径 yy, xx np.mgrid[0:h, 0:w] weight np.exp(-((xx-rx)**2 (yy-ry)**2) / (2 * 15**2)) shifted np.roll(np.roll(frame, int(dy), axis0), int(dx), axis1) result result * (1 - weight[..., None]) shifted * weight[..., None] return result这里sigma为 15 像素在 640x480 输入下大约对应眉眼区域大小分辨率越高这个值也要相应调整。项目中默认的关键点数量是 68 个但真正参与配准的只有眼睛、眉毛、嘴巴附近的大约 20 个点鼻梁区域的点几乎不动参与计算反而会引入误差。预处理顺序非常关键先放大再插值最后配准。如果先配准插值步骤会基于配准后的帧做光流此时前一步的微小位移已经被清零光流会错误地估计为运动导致后面生成的重建帧出现鬼影。把顺序反过来EVM 放大的运动是原始物理运动插值能在这段运动之间合理过渡。项目 README.txt 里对这个顺序做了加粗说明我在实验中也验证过颠倒顺序会让光流特征质量明显下降。3. 多特征融合提取与主流程编排3.1 三类特征的提取与融合方式微表情和普通表情的主要区别在于局部性强比如嘴角有细微下压或者眉毛会有一次极短促的提升。只靠一种特征很难同时抓住空间纹理和时间动态。这个项目在 Features_extraction.py 里提取了三大类特征基于光流的光学应变、基于时空纹理的 LBP-TOP、基于关键点的几何特征。光流特征描述像素在相邻帧间的运动方向和速度。光流本身是二维矢量场维度太高所以代码里通常把光流场的幅度和方向各做一个直方图或者计算光学应变张量来体现肌肉的拉伸与压缩。Features_extraction.py 中会先用前后两帧计算稠密光流然后对光流场做分区域统计比如把面部网格划分为 4x4 区域每个区域取光流幅度的均值、方差和主方向。这样得到的特征维度可控且对局部形变敏感。LBP-TOP 是 LBP 在时空三维上的扩展。原始 LBP 只取平面上的 8 个邻域LBP-TOP 则在 XY、XT、YT 三个平面上分别做 LBP 编码然后统计直方图。它能够捕捉到表情在时间轴上的纹理变化对光照有一定鲁棒性但三个平面的特征长度会乘以一个系数容易造成维度膨胀。下面这段代码反映了典型的 LBP-TOP 直方图提取方式import numpy as np from skimage.feature import local_binary_pattern def lbp_top_histogram(seq, radius3, n_points8, time_depth2): hist_all [] for t in range(time_depth, len(seq), time_depth): center seq[t] lbp_xy local_binary_pattern(center, n_points, radius, methoduniform) prev seq[t - time_depth] xt np.concatenate([prev, center], axis0) lbp_xt local_binary_pattern(np.mean(xt, axis2).astype(np.uint8), n_points, radius) hist np.concatenate([ np.histogram(lbp_xy.ravel(), bins10, densityTrue)[0], np.histogram(lbp_xt.ravel(), bins10, densityTrue)[0] ]) hist_all.append(hist) return np.concatenate(hist_all)这里将相邻两帧拼接成一个图像来近似 XT 平面简化了官方实现。radius控制采样半径time_depth控制时间采样步长。radius 过大导致纹理模式趋于单一过小则对噪声敏感。默认值 radius3 在 640 宽的输入上效果最好。LBP-TOP 对输入的分辨率和灰度变化区间很敏感应该先做光照归一化再统计直方图。特征类型对微表情的贡献度主要调节参数光流/光学应变高flow_window_size, magnitude_thresholdLBP-TOP中radius, time_depth, n_points几何关键点中landmark_model, distance_pairs几何特征的关键点坐标标准化是关键。同一张脸在不同视频帧中尺寸不同所以必须把 68 个关键点坐标转换为相对位置比如以鼻尖为中心归一化或者计算内眼角间距作为尺度基准。项目采取的方案是计算每个关键点到基准点的距离和角度形成 136 维特征再对每帧求变化量。几何特征对配准质量极度依赖配准失败时关键点坐标会在某个局部区域漂移导致特征输出剧烈跳变。特征融合的默认方式是向量拼接。光流特征取 4x4 区域乘统计量大约 64 维LBP-TOP 三平面直方图拼接后 256 到 512 维几何特征约 136 维。总特征维度在 500 上下对几百个样本的分类任务来说偏大。因此融合后紧接 PCA 降到 80 维保留约 95% 的方差。为什么不直接用深度学习自动学特征因为微表情数据集样本太少端到端学习容易过拟合而手工特征加 PCA 能够稳定在可复现的基线水平。3.2 主流程的参数传递与峰值帧定位main.py 是控制整个流水线的入口它要解决的问题是每个模块的输入输出格式怎么衔接。Eulerian_video_magnification.py 输入视频帧路径和放大参数输出放大后帧序列Temporal_interpolation_model.py 接收这个序列并输出插值结果Local_weighted_mean_register.py 需要关键点位置所以 main.py 在配准前要先调用一次人脸关键点检测器之后才进入特征提取。main.py 把所有可调参数集中在一个字典里并允许通过命令行覆盖。这样不用改源码就能做参数扫描。比如这样调用python main.py --video ./data/1.avi --evm_alpha 25 --freq_lo 0.5 --freq_hi 4.0 --interp_frames 2 --register_on True --feature_choice fused--evm_alpha对应视频放大系数--interp_frames表示每两个原始帧之间插入几帧--feature_choice可选fused、flow或lbp方便单独观察每种特征的效果。课程设计答辩时可以用单特征和融合特征做对比说明多特征融合的提升幅度。峰值帧定位隐藏在特征提取模块内部。微表情的峰值帧是指表情强度最大的那一帧通常也是眼轮匝肌或口轮匝肌变化最明显的时刻。常见做法是计算每一帧光流场的全局幅值取幅值最大的位置作为峰值帧然后截取峰值前后各固定帧数作为分析窗口。这个窗口长度默认是 11 帧配合插值后实际覆盖约 0.2 秒正好覆盖一次微表情的发起、峰值和消退。主流程最后会把提取的特征和对应的标签保存为 numpy 文件供分类评估模块读取。标签是编码为数字的类别标注例如 0-压抑、1-厌恶、2-惊讶、3-其他。如果你要换成自己的数据集需要保证 labels 数组的索引和类别顺序一致。main.py 还会输出运行日志记录每个阶段的耗时方便判断瓶颈。一般 EVM 和光流是耗时大户配准次之特征提取相对较快。4. TensorFlow分类模型训练与评估指标4.1 网络结构与训练配置特征融合之后分类问题变得足够简单。项目没有选择复杂的视频网络而是直接在融合特征上用一个两隐层全连接网络做分类。第一层 128 个神经元第二层 64 个神经元中间加 Dropout 防止样本量小时过拟合。最后一层用 softmax 输出每个类别的概率。训练配置如下优化器 Adam初始学习率 0.001损失函数 sparse_categorical_crossentropy批量大小 32最大训练 100 轮。选择 TensorFlow 而不是其他框架主要因为 TensorFlow 对训练过程的监控和部署更成熟并且期末大作业答辩时面试官通常更认可这种熟悉度高的框架。此外模型很小纯 CPU 就能训练不需要 GPU。在包含 200 个样本左右的数据集上每个 epoch 只需要一秒钟训练完整个项目也就两三分钟。下面这段代码是模型构建和训练的基本流程和 Classification_and_evaluation.py 的结构一致import tensorflow as tf from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint def train_classifier(X_train, y_train, X_val, y_val, num_classes4): model tf.keras.Sequential([ tf.keras.layers.Input(shape(X_train.shape[1],)), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(64, activationrelu), tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(num_classes, activationsoftmax) ]) model.compile(optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy]) callbacks [ EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue) ] model.fit(X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size32, callbackscallbacks) return modelDropout(0.3)的比例需要根据特征维度调整。特征经过 PCA 降维后各维度相关性弱Dropout 比例过高会丢失有用信息比例过低则正则化不足。通常可以对比 0.3 和 0.5 两种设置观察验证集准确率变化。EarlyStopping的 patience 设为 10是因为小样本训练时验证集准确率会有明显波动耐心太小会在暂时低谷时提前停止错过后面的上升。学习率衰减也会影响最终结果。默认使用固定学习率 0.001但在小样本上容易在最后 20 个 epoch 出现验证集损失震荡。建议把优化器换成余弦退火调度lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate1e-3, decay_steps100, alpha1e-4)这样可以让学习率在训练后期降低到原来的十分之一帮助权重收敛到更平滑的局部最优。4.2 评估指标与类别不平衡处理由于微表情数据集中存在明显的类别不平衡准确率不是最可靠的指标。例如压抑类样本可能占总数 40%模型只要永远预测压抑就能拿到 40% 准确率但这个模型毫无实际意义。因此 Classification_and_evaluation.py 会在训练结束后输出每个类别的精确率、召回率和 F1-score并生成混淆矩阵。代码中计算这些指标可以直接用 scikit-learnfrom sklearn.metrics import classification_report, confusion_matrix y_pred model.predict(X_test).argmax(axis1) print(classification_report(y_test, y_pred))在我跑通项目并调整参数后得到过类似下面的结果类别PrecisionRecallF1-score0压抑0.750.710.731厌恶0.600.570.582惊讶0.820.780.803其他0.480.520.50其他类别的 F1 通常最低因为它的内部包含了多种不相关表情甚至非表情帧特征分布本身就很散。如果混淆矩阵显示厌恶样本经常被误判为压抑说明两种表情在运动幅度上的差异没有被放大系数捕捉到。可以回到 EVM 模块把 alpha 从 20 提高到 25或者把 freq_hi 从 4.0 降到 3.0让低频的小幅运动被更明显地增强。类别不平衡的另一个解决方案是给少数类更高的损失权重。代码支持--class_weight参数例如--class_weight {0:1.0, 1:2.0, 2:1.0, 3:1.5}。TensorFlow 在内部会把每个样本的损失乘以对应类别的权重相当于给稀少样本制造了更多梯度更新机会。但要注意权重设置过大容易导致少数类被过度强化使得整体准确率下降。建议先用默认权重训练作为基线再只给 F1 最低的类别增加 1.5~2.0 的权重。评估时还有一个容易忽略的点数据划分必须按视频而不是按帧分割。同一个人的相邻帧高度相似如果不做组划分训练集和验证集可能出现在同一个人的同一段视频里这会让模型学到人物特征而非表情特征。项目 README 建议使用 Leave-One-Subject-Out即每次留出一个人所有的视频作为验证集其余人训练。这样的评估结果才接近真实场景。5. 跑通源码的三个关键检查点与常见坑拿到源码后建议按下面的顺序排查避免从第一步就一直报错。第一检查 TensorFlow 版本兼容性。这个项目的一部分代码使用了旧版 API。如果你在 TensorFlow 2.x 环境下运行出现placeholder或Session相关报错在文件头部加import tensorflow.compat.v1 as tf tf.disable_v2_behavior()如果类名是tf.keras和独立 Keras 包混用也会出现类型错误。这个项目全程使用tf.keras不要混用。第二确认输入视频格式和帧率。项目在预处理阶段默认读取 30fps、分辨率为 640x480 的 AVI 文件。如果你的视频是 25fps 或 60fps最好先用 ffmpeg 统一ffmpeg -i input.mp4 -r 30 -s 640x480 -pix_fmt yuv420p output.avi如果-pix_fmt设错OpenCV 读取时会出现颜色通道错位表现为画面偏蓝或偏绿。EVM 对颜色通道的放大是分别进行的通道错位会让放大结果出现彩虹纹。第三注意缓存清除。main.py 会把提取特征缓存到feature_cache/目录第二次运行会直接读取缓存跳过预处理。如果你修改了 EVM 的 alpha、金字塔层数或 LBP-TOP 的 radius一定要手动删除该目录否则新参数不会生效。缓存的键是视频路径的哈希参数变化并不会更新哈希所以这个问题极易被忽略。另一个坑是缺少 dlib 的人脸关键点模型文件。运行 Local_weighted_mean_register.py 时会报找不到shape_predictor_68_face_landmarks.dat的错误。需要从 dlib 官网下载该文件并在代码中通过--landmark_path指定路径。最后建议开启可视化模式验证预处理链路python main.py --video ./demo.avi --visualize --output_dir ./result可视化模式会保存放大后的视频、插值后的帧序列以及配准前后的差分图。观察差分图时能量应集中在眼睛和嘴巴区域如果全图出现雪花噪声说明 alpha 过大如果面部边缘出现高亮框说明配准没有完全消除头部晃动。这两种情况下后续分类效果都不会好这时调整预处理参数比修改模型更有意义。本文还有配套的精品资源点击获取