简介：基于Python与TensorFlow构建的多模态情感分析项目，面向毕业设计、课程设计及项目开发场景。它突破传统正负中性三分类，采用喜、怒、哀、其他四类情感标签，并设计了从单模态到双模态、三模态的分层融合策略，对文本（含emoji）、语音、图片与视频分别提取特征后，经softmax层输出结果，支持CPU或GPU环境运行。资源包共21个文件，压缩后约58.48MB，包含9个pickle数据文件、5个Python源码脚本，以及PDF、Markdown等格式的项目文档和数据集压缩包，便于直接阅读、复现与二次开发。目前已有682人学习浏览。项目源码已经过严格测试，数据预处理、模型构建与训练流程完整，可放心参考并在此基础上延展使用，适合需要系统学习多模态情感识别完整流程的开发者。

1. 多模态融合情感分析：一句“我没事”到底该信哪一路信号

你拿到的可能是这样一个任务：输入一段十几秒的视频，里面一个人说“我没事”，语气却沉闷，嘴角还往下撇。纯文本模型大概率判成 positive，因为字面意思太“正面”了；但把语音的基频、能量和画面的表情一起送进去，模型会倾向于 negative。这就是多模态融合情感分析的典型场景——它要解决的是单模态“只看到局部”的天然局限，把文本、语音、图片/视频三路证据揉成一个判断。很多毕业设计和课程设计卡在“不知道先做哪一路、融合层怎么搭”上；其实拆开看，三路特征抽取各有成熟套路，融合层也有现成架构，难点主要在数据对齐和调试。这篇笔记面向正在做这个项目的人，从特征选型、工程实现到参数和踩坑，给你一条能从头搭到尾的路线。

2. 多模态情感分析的架构分层：为什么“早期拼接”常常打不过“中间融合”

2.1 模态特征抽取的选型：文本/语音/视觉各自走哪条路

做多模态之前，先把“单模态各自能做到什么程度”想清楚。文本这一路，传统做法是 TF-IDF 或 Word2Vec，但情感分析对上下文敏感，“绝了”在不同语境下极性完全不同，所以我建议有 GPU 就直接用预训练语言模型，中文用bert-base-chinese，英文用bert-base-uncased，取[CLS]位置的输出作为整句向量。这一路输出的维度一般是 768（BERT-base）。没有 GPU 的话，退而求其次用 TF-IDF 做 5000 维稀疏向量，效果差一点但流程能跑通。

语音这一路，最稳的特征是 MFCC（梅尔频率倒谱系数）。它把音频切成 25ms 一帧、10ms 一帧移，每秒约 100 帧，每帧提取 13 维或 39 维系数。原始音频不能直接进分类器，通常要池化成定长——常见做法是对所有帧的 MFCC 做均值、标准差、最大值统计，拼成一个固定长度的向量。想保留时序信息，也可以用 LSTM 或 1D CNN 吃帧序列，但对情感分析这种粗粒度任务，统计池化已经足够，且训练速度快得多。

视觉这一路，图片和视频在特征层面是同一套方法论：先用预训练 CNN 提特征，再决定怎么聚合。对单张图片，直接用 ResNet50 的pool5输出，2048 维；对视频，均匀抽 N 帧（比如 16 帧），每帧过一遍 ResNet，得到 N×2048 的特征序列，再做平均池化或注意力池化成 2048 维。这里有一个重要的取舍：3D CNN（如 I3D）能直接建模时序，但对小规模数据集容易过拟合，迁移到新领域的成本也高；我没少在这上面翻车，后来还是回到“抽帧+2D CNN 池化”，简单可靠，符合这门课设的体量。

2.2 融合策略对比：决定上限的分水岭

三路特征都抽好之后，怎么融合是项目的分水岭。最直觉的做法是“早期拼接”：把文本 768 维、语音某维度、视觉 2048 维直接 concat 成一个大向量，再接分类器。这套做法有两个隐患：一是特征尺度差异大，BERT 输出和 MFCC 统计值不在一个量级，可能需要逐路归一化；二是拼接后的维度动辄数千，小数据集上容易过拟合。

决策级融合则是三路各训一个分类器，最后对 softmax 概率做平均或投票。这种“晚期融合”的好处是每路独立训练、互不拖累，但坏处是模型学不到模态间的交叉关系——比如“嘴上说没事、表情却沮丧”，这种矛盾信号只能在特征层面被联合建模。

综合来看，中间融合（特征级融合加上注意力机制）是情感分析里最常用、效果也最稳的方案：三路编码器输出各自的语义向量，送入一个融合层，融合层学习“现在该信哪一路”。实现上分两层：先做简单的 concat 或加权求和，再叠加一层多头注意力或门控机制。我用一个例子说明——文本说“开心”，语音平静，画面是面无表情，那门控会给文本高权重、视觉低权重；如果文本和画面一致，权重分布又会不同。这正是多模态融合比单模态强的地方。

2.3 一个可跑通的最小模型骨架：编码器 + 融合层 + 分类头

下面给出一个最小骨架。它不依赖任何复杂框架，用 PyTorch 实现，三路编码器都先用简单的全连接层把特征压缩到同一维度，再用一个门控融合层做加权求和，最后过 softmax 分类。

import torch import torch.nn as nn import torch.nn.functional as F class MultiModalFusion(nn.Module): def __init__(self, text_dim=768, audio_dim=128, visual_dim=2048, hidden_dim=128, num_classes=7): super().__init__() # 三路编码器：各自压缩到 hidden_dim，便于后续融合 self.text_enc = nn.Linear(text_dim, hidden_dim) self.audio_enc = nn.Linear(audio_dim, hidden_dim) self.visual_enc = nn.Linear(visual_dim, hidden_dim) # 门控融合：学习三路权重 self.gate = nn.Linear(hidden_dim * 3, 3) # 分类头 self.classifier = nn.Sequential( nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim // 2, num_classes) ) def forward(self, text_feat, audio_feat, visual_feat): # 压缩到统一维度 h_text = F.relu(self.text_enc(text_feat)) h_audio = F.relu(self.audio_enc(audio_feat)) h_visual = F.relu(self.visual_enc(visual_feat)) # 计算门控权重，softmax 确保权重和为 1 gate_input = torch.cat([h_text, h_audio, h_visual], dim=-1) gate_weight = F.softmax(self.gate(gate_input), dim=-1) # [B, 3] # 加权融合 fused = (gate_weight[:, 0:1] * h_text + gate_weight[:, 1:2] * h_audio + gate_weight[:, 2:3] * h_visual) return self.classifier(fused)

逻辑说明：三路输入各自过一个线性层，把维度统一到hidden_dim；门控层用拼接后的特征预测一个 3 维权重，softmax 归一；随后加权求和得到融合向量，再过两层全连接分类。这个骨架的好处是每一块都能独立替换——把text_enc换成 BERT 微调层，或把visual_enc换成注意力池化层，都不用改融合逻辑。

参数说明：text_dim要和文本特征维度一致，BERT 是 768，TF-IDF 是词表大小；audio_dim取决于语音特征池化后的维度，MFCC 统计池化常见是 39 或 13×3=39；visual_dim是 ResNet 输出的 2048。hidden_dim建议取 128 或 256，太小欠拟合、太大在情感数据集上容易过拟合。num_classes按任务定，常见的是 7 分类（生气、厌恶、恐惧、开心、难过、惊讶、中性）或 3 分类（正/负/中性）。

3. 从数据到特征：把文本、语音、图片整理成同一套张量

3.1 数据集划分与目录约定：训练集/验证集/测试集别混

项目自带的原始数据通常是一段段视频片段，每个片段带一个情感标签。在做任何特征抽取之前，先把目录结构定好，这是后面所有环节的地基。我的习惯是这样组织：

data/ train/ 001_angry.mp4 002_happy.mp4 val/ test/ labels/ train.csv # 列: file_name, text, label, start_time, end_time val.csv test.csv

关键点是：划分必须发生在“抽特征之前”，而且要保证同一个来源的视频、同一个人的不同片段不会同时出现在训练和验证集里，否则模型会在“认人”而不是“认情感”。实际操作中我遇到过验证集准确率虚高到 0.95 的情况，一查发现是同一个人在不同片段里反复出现，模型直接记住了人脸；后来改成按人物 ID 分组划分才正常。

3.2 文本特征：TF-IDF 起步，BERT 精调

文本特征这边要看数据规模。课程设计的数据集往往只有几千条，从头微调 BERT 容易过拟合，我的做法是先用 BERT 做特征抽取（不微调），把[CLS]向量存下来，跑通整个多模态管线；等后期时间富余了再去微调文本分支。下面这段代码演示了用 BERT 抽特征并缓存到本地的做法。

import torch from transformers import AutoTokenizer, AutoModel model_name = "bert-base-chinese" tokenizer = AutoTokenizer.from_pretrained(model_name) bert = AutoModel.from_pretrained(model_name) bert.eval() def extract_text_feature(text, max_len=128): inputs = tokenizer(text, max_length=max_len, padding='max_length', truncation=True, return_tensors='pt') with torch.no_grad(): outputs = bert(**inputs) # 取 [CLS] 向量，即句子级语义表示 cls_vec = outputs.last_hidden_state[:, 0, :].squeeze(0) return cls_vec.numpy()

逻辑说明：tokenizer 把文本切成 token 序列并补齐到max_len=128；BERT 前向推理后取第一位的[CLS]向量。注意padding='max_length'会把小于 128 的样本补齐，这里用with torch.no_grad()包住前向过程，避免特征抽取阶段计算梯度，省显存、也防止误把 BERT 的梯度传回主干。

参数说明：max_len=128对视频里的字幕或短句足够；如果你处理的是长评论文本，可以提到 256，但要注意[CLS]向量会稀释长文本的重点。效率上，几千条数据一条条过 BERT 可能要十几分钟，可以先存成.npy文件，训练时直接加载，不必每次再跑一遍。

3.3 语音特征：MFCC + 统计池化

音频处理我用 librosa，稳定且参数直观。下面这段代码把音频文件读进来、提 MFCC、再做统计池化，输出一个定长向量。一次load会做重采样和归一化，采样率统一到 16kHz。

import librosa import numpy as np def extract_audio_feature(audio_path, sr=16000, n_mfcc=13): # 加载音频并重采样到 sr y, _ = librosa.load(audio_path, sr=sr) # 提取 MFCC，帧长 25ms，帧移 10ms mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=n_mfcc, n_fft=400, hop_length=160) # 统计池化：均值、标准差、最大值，拼成一个向量 feat = np.concatenate([ np.mean(mfcc, axis=1), np.std(mfcc, axis=1), np.max(mfcc, axis=1) ]) return feat # 维度 13 * 3 = 39

逻辑说明：n_fft=400对应 16kHz 采样率下的 25ms 窗长，hop_length=160是 10ms 帧移；librosa.feature.mfcc返回形状为[n_mfcc, 帧数]的矩阵。池化时在帧数维度（axis=1）上取统计量，最终得到 39 维特征。这样做的好处是输入长度任意可变，输出永远是定长，省去了音频序列 padding 的麻烦。

参数说明：n_mfcc=13是常用起点，也有人用 40 维，但 13 维加一阶、二阶差分（共 39 维）是最经典组合。如果你的音频里有较多静音，考虑先做 VAD（语音活动检测）再去提特征，否则静音段的 MFCC 会拉低均值。实测里，不做 VAD 对最终准确率影响约 2~3 个点，属于可选优化。

3.4 视觉特征：视频抽帧 + ResNet 迁移

视频这一路，最大的坑是帧数不一致。有的片段 3 秒、有的 8 秒，直接逐帧抽会得到长度不等的帧序列。解决方案是均匀抽帧：不管视频多长，都均匀抽 N 帧，再用预训练 ResNet 逐帧提特征，最后做平均池化。

import cv2 import numpy as np import torchvision.transforms as T from torchvision.models import resnet50, ResNet50_Weights resnet = resnet50(weights=ResNet50_Weights.IMAGENET1K_V1) resnet.eval() # 特征抽取阶段，不训练 transform = T.Compose([ T.ToPILImage(), T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) def extract_video_feature(video_path, num_frames=16): cap = cv2.VideoCapture(video_path) total = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # 均匀取 num_frames 个帧索引 indices = np.linspace(0, total - 1, num_frames).astype(int) frames = [] for idx in indices: cap.set(cv2.CAP_PROP_POS_FRAMES, idx) ret, frame = cap.read() if not ret: break frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) tensor = transform(frame).unsqueeze(0) with torch.no_grad(): feat = resnet(tensor).squeeze().numpy() # [2048] frames.append(feat) cap.release() if len(frames) == 0: return np.zeros(2048) # 平均池化所有帧特征 return np.mean(frames, axis=0)

逻辑说明：np.linspace(0, total - 1, num_frames)均匀取帧索引，避免在长视频上抽取过于密集的帧；每帧过一遍 ResNet 的最终池化层得到 2048 维特征，最后在帧维度上取平均。if len(frames) == 0处理了解码失败或空视频的情况，返回全零向量，这是保证训练不崩溃的关键兜底。

参数说明：num_frames=16对短视频足够，视频更长可以加到 32，但特征抽取时间翻倍。这里 ResNet 用的是 ImageNet 预训练权重，它的分类层和我们的情感分类无关，我们只取它倒数第二层的语义特征；如果视频画面主体是人物表情，可以考虑改用 FaceNet 或人脸关键点特征，但工程复杂度会高很多，不建议课设阶段碰。

4. 融合训练的实现细节：损失函数、学习率与评估口径

4.1 三路输入如何对齐：时间对齐与特征对齐

多模态项目里“对齐”有两层含义：一层是时间对齐，一层是特征维度对齐。时间对齐说的是——文本字幕的起止时间、语音的时间轴、视频的帧序列是否对应同一段语义。课程设计里最常见的情况是：每段视频配一句字幕，那文本和语音天然对齐；但如果字幕是整段视频的总结，而不是逐句对应，那硬要让每帧画面对应每个词就不现实。

我的处理原则是：视频片段切得越细，对齐越要严格；整段视频只有一个标签时，干脆只做“全局特征对齐”，也就是每条样本的三路特征都代表整段内容，不强行做帧级对齐。特征维度对齐则简单——三路特征在经过上一章的抽取后，维度确定为 768 / 39 / 2048，变成了三张定长的表，DataLoader 直接按样本索引取即可。接下来这段代码给出了一个标准的 PyTorch Dataset 写法，读入之前存好的特征文件：

import torch from torch.utils.data import Dataset class MultiModalDataset(Dataset): def __init__(self, feature_dir, label_file): self.text_feats = np.load(f'{feature_dir}/text.npy') self.audio_feats = np.load(f'{feature_dir}/audio.npy') self.visual_feats = np.load(f'{feature_dir}/visual.npy') self.labels = np.load(label_file) def __len__(self): return len(self.labels) def __getitem__(self, idx): return { 'text': torch.tensor(self.text_feats[idx], dtype=torch.float32), 'audio': torch.tensor(self.audio_feats[idx], dtype=torch.float32), 'visual': torch.tensor(self.visual_feats[idx], dtype=torch.float32), 'label': torch.tensor(self.labels[idx], dtype=torch.long) }

逻辑说明：特征抽取阶段把每条样本的三路特征存成了三个.npy阵列，这里按索引读取并封装成 PyTorch Dataset；__getitem__返回的是一个字典，训练循环里分别取batch['text']等字段喂给模型。注意.npy文件的行顺序必须和labels一一对应，否则标签错位会让模型在训练时震荡。

参数说明：feature_dir下建议按“train / val / test”各存一份特征；不要把所有数据拼成一个.npy再手工切分，因为特征抽取阶段的随机性和耗时会让切分难以复现。每次都生成新的随机划分会导致训练集和验证集之间有重叠样本，结果虚高，这个细节后面避坑章会再展开。

4.2 训练脚本：早停、学习率衰减与 F1 评估

特征对齐之后，训练环节就相对机械了。但有几个点决定了训练是否顺利：一是损失函数要用带权重的交叉熵，因为情感数据集类别往往不均衡——“中性”和“开心”可能远多于“厌恶”；二是学习率不能一个值跑到底，尤其当文本路要微调 BERT 时，主干和 BERT 分支要分开配学习率；三是一定要加早停，不然多模态模型会在验证集上反复震荡。

from torch.utils.data import DataLoader from sklearn.metrics import f1_score model = MultiModalFusion() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=30) criterion = torch.nn.CrossEntropyLoss( weight=torch.tensor([1.0, 2.5, 1.2, 1.0, 1.8, 1.0, 1.5]) ) best_f1 = 0 patience = 5 no_improve = 0 for epoch in range(50): model.train() for batch in train_loader: out = model(batch['text'], batch['audio'], batch['visual']) loss = criterion(out, batch['label']) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() # 验证 model.eval() preds, gts = [], [] with torch.no_grad(): for batch in val_loader: out = model(batch['text'], batch['audio'], batch['visual']) preds.extend(torch.argmax(out, dim=1).tolist()) gts.extend(batch['label'].tolist()) current_f1 = f1_score(gts, preds, average='weighted') if current_f1 > best_f1: best_f1 = current_f1 torch.save(model.state_dict(), 'best_model.pt') no_improve = 0 else: no_improve += 1 if no_improve >= patience: print(f"Early stop at epoch {epoch}, best F1: {best_f1:.4f}") break

逻辑说明：CrossEntropyLoss的weight参数按类别样本数倒数归一化后设置，给样本少的类别更高权重，防止多数类主导；CosineAnnealingLR让学习率从初始值平滑衰减到接近 0，比 step 衰减更适合小数据集微调。早停逻辑用patience=5，验证集 F1 连续 5 个 epoch 不涨就停，并保存历史最优权重，这是多模态项目里避免过拟合最直接的手段。

参数说明：优化器用AdamW而不是Adam，因为它对权重衰减的处理更规范，BERT 类模型微调时尤其重要。学习率设置上，主干网络用1e-3或1e-4皆可；如果打算微调 BERT 分支，那一层要用1e-5量级，否则预训练权重会被大步长冲坏。早停的 patience 在情感分析这类抖动较大的任务上不建议小于 3，否则容易在正常波动中被提前停掉。

4.3 参数表：一份可以直接抄的超参数配置

多模态融合模型的超参数不像单模态那么“无脑”，每个数据集的合理区间都不同，但可以给一份经过调优的起点配置，适合 5000 条以内的数据集。

表里的lr=2e-4是“三路编码器都是线性层”的情况；如果某一分支换成了更深的结构（如 LSTM、BERT 微调），这个分支的学习率要单独降，主融合层反而可以保持稍高的速率。batch_size=32在三路特征缓存到内存的场景下完全无压力；但如果直接在加载时逐样本过 BERT 和 ResNet，32 的显存占用会高很多，这时应该把特征预存成.npy，训练时不再走重模型。

5. 避坑与排查：多模态工程里最常见的五个翻车点

5.1 文本批次崩溃：padding 后忘了 mask

现象：训练到一半报错CUDA error: device-side assert triggered，一查是[CLS]向量正常，但输出层出现 NaN。

原因：BERT 分词后做了padding='max_length'，但是喂回模型时没有传递attention_mask，模型把补零的位置也当成真实 token 参与注意力计算，最终导致梯度异常。常见于从特征抽取代码搬到训练管线时只搬了 tokenizer 部分。

解决：记录 tokenizer 阶段生成的attention_mask，在特征抽取时一并保存；如果只是用了[CLS]向量做句向量，则问题不大，但一旦改成微调 BERT，mask 必须和 input_ids 一起传进模型。建议在提取特征时就把 mask 存下来，不要事后重新分词。

5.2 视频维度对不上：均匀抽帧出现 0 帧

现象：某些样本的视觉特征是零向量，模型对所有这类样本都给出同一预测，验证集准确率异常高或异常低。

原因：cv2.VideoCapture对损坏的视频文件或极端长度（如 0.1 秒）会读不到帧；np.linspace(0, total - 1, num_frames)在total=1时生成全 0 索引，但cap.read()可能返回 False，导致特征列表为空，最终均值在空列表上报错或返回零向量。

解决：特征抽取脚本里加一个防护——如果len(frames) == 0，打印文件名并跳过，而不是返回全零；项目文档要求所有视频人工校验一遍，把损坏文件剔除。我给课程设计做过一次“数据清洗脚本”，统计每个视频的帧数和时长，低于 10 帧的直接标记，后续重采样或补帧时才不会静默出错。

5.3 数据划分泄漏：验证集虚高到 0.95

现象：模型在验证集上 F1 高达 0.94，拿到测试集上一测只有 0.6，差距悬殊。

原因：划分数据集时按文件列表随机切分，但同一个说话人（或同一个视频源）的不同片段被分到了训练和验证集。模型学会了“认脸”“认音色”而不是“认情绪”，验证集自然虚高。

解决：按人物 ID 或视频源做分组划分，确保一个说话人的所有片段只出现在一个集合里。实操上，原始数据的文件名通常包含说话人 ID，用 pandas 按该列groupby后再切分即可。我还要提醒一点：验证集和测试集要用同一种划分逻辑，中途改动划分方式会让前后实验结果不可比。

5.4 学习率没分区：BERT 微调一步冲坏

现象：前期 loss 下降很快，跑两三个 epoch 后在验证集上突然崩盘，F1 从 0.8 跌到 0.3。

原因：主干网络和 BERT 分支共用同一个学习率，BERT 的预训练权重被过大的步长破坏，这比随机初始化的网络更难恢复。实践中常见于有人直接把整棵模型以1e-3训练。

解决：参数分组——BERT 参数的学习率设为1e-5，融合层和分类头保持1e-3或1e-4。用 PyTorch 的话，构造两个param_group分别传入optimizer；我这里给一个简化示范：

bert_params = [p for n, p in model.named_parameters() if 'bert' in n] other_params = [p for n, p in model.named_parameters() if 'bert' not in n] optimizer = torch.optim.AdamW([ {'params': bert_params, 'lr': 1e-5}, {'params': other_params, 'lr': 1e-3} ])

逻辑说明：先按名字过滤出 BERT 分支的参数，剩下的归主干；AdamW 接受多个参数组，每组独立配置学习率，冲突时以组内lr为准。参数说明：这个写法要求模型内部模块命名里带bert字样，如果代码里把 BERT 包在self.text_encoder里，则过滤条件要改成'text_encoder' in n；不要用if 'bert' in p[0]这种写法，named_parameters()返回的 name 才是分类依据。

5.5 特征缓存不规范：重新生成后结果对不上

现象：昨天跑出 F1 0.72，今天没改代码只重跑了一遍，变成了 0.65，甚至更低。

原因：特征抽取阶段用了随机性——比如视频抽帧时对帧索引做了随机采样（换了实现但没注意），或者 BERT 特征抽取时前向没有关 dropout（BERT 默认 eval 模式但代码里没切），导致每次生成的特征不完全一致。模型训练本身是稳定的，但输入特征变了，结果自然对不上。

解决：给特征抽取脚本固定随机种子，并在生成后计算一次哈希值，写入项目文档；每次训练前验证.npy文件的哈希一致，再往下走。另外，BERT 特征抽取一定要包在model.eval()里，否则 dropout 会随机失活一部分单元，抽出来的特征每次都不一样。

6. 进阶用法与验证方法：让多模态模型不只“能跑”

跑通基线之后，别急着收尾。多模态项目最能写进论文或答辩 PPT 的部分，恰恰是三个“附加验证”——消融实验、注意力可视化和模态缺失鲁棒性。这三件事能说明你懂这个模型在干什么，而不是只会跑代码。

消融实验的做法是：依次去掉一路模态，分别训练三个单模态模型和一个两两组合模型，对比它们与完整模型的效果。论文里通常给一张表：文本-only、语音-only、视觉-only、文本+语音、文本+视觉、语音+视觉、完整模型。你会发现，去掉视觉可能只掉 2 个点，去掉语音却掉 6 个点——这个结论比“我们的多模态模型最好”有说服力得多，因为它告诉读者每一路信号的贡献边界。实现上不复杂，把模型里某一路的特征置零而不删代码，是最快的方式。

注意力可视化同样不难。我们的门控层产出了三个权重，训练完成后，统计每条测试样本上三路权重的均值，画一个柱状图，能直观看到模型在什么场景下更依赖哪一路。更进阶一点，把文本注意力映到每个词、把视觉注意力映到每一帧的时间戳，就能定位模型被判为“生气”是因为哪个词、哪一帧的表情。做课设的话，柱状图就足够解释了。

模态缺失鲁棒性，指的是推理时某一路输入缺失怎么办——比如测试视频只有画面没有声音。做法是：把缺失模态的特征置零，同时把门控层的对应权重强制设为 0，重新归一化剩余两路权重。我这里写一个推理时的处理片段：

def predict_with_missing(model, text_feat, audio_feat, visual_feat, missing='audio'): if missing == 'audio': audio_feat = torch.zeros_like(audio_feat) elif missing == 'visual': visual_feat = torch.zeros_like(visual_feat) # 前向传播后，门控权重缺失路会被压到很低，无需额外处理 with torch.no_grad(): logits = model(text_feat, audio_feat, visual_feat) return torch.argmax(logits, dim=-1)

逻辑说明：缺失模态的特征置零后，模型的门控层会看到该路弱信号并自动压低其权重，不需要手工改网络结构。参数说明：这里依赖模型训练时见过“特征为全零”的样本——我在训练时按 10% 概率随机把某一路置零，让模型学会在缺失时不去盲信残缺信号；这个细节对鲁棒性提升很明显，但常常被人忽略。

最后说我现在的习惯：每次跑实验前，先把随机种子、数据划分版本、特征文件哈希写进一个experiment_log.txt，这样任何一次结果都能回溯到当时的输入和代码状态。多模态项目变数多，固定能固定的东西，才能在调参时不至于自己骗自己。希望这篇笔记能帮你把这条路走通，也少踩几个我当年踩过的坑。

本文还有配套的精品资源，点击获取