简介：这份代码包实现基于Faster R-CNN（ResNet-101）的自下而上注意力模型，面向图像字幕与视觉问答（VQA）方向的研究者和开发者，用以解决传统CNN网格特征难以聚焦显著物体区域的问题。模型借助Visual Genome的物体与属性标注进行多GPU训练，预训练权重可直接输出显著图像区域的特征，替代注意力式字幕与VQA模型中的CNN特征；论文据此取得CIDEr 117.9、BLEU_4 36.9与70.3%的VQA总体准确率。压缩包共981个文件、约14.27MB，以C++源码、Caffe网络配置prototxt、Python脚本、CUDA核与Shell脚本为主，另含Jupyter Notebook示例、Markdown说明及预训练权重，覆盖数据准备、训练配置到特征提取各环节。已有753人学习，读者可获得完整的Faster R-CNN训练流水线、显著区域特征提取脚本与示例配置，便于在自有数据上复现自下而上注意力特征并接入下游字幕或VQA模型。

1. 从“整图特征总差点意思”说起：Faster R-CNN 加 Visual Genome 的自下而上注意模型能解决什么

很多人第一次把 Faster R-CNN 的区域特征接到图像字幕和 VQA 任务上，都会遇到一个反直觉结果：整图池化看起来也能跑，但一换到小目标、遮挡和属性问答就露馅。这套资源围绕 Visual Genome 的区域标注训练自下而上注意模型，用 Caffe 做检测与特征抽取，再把区域特征送进 image captioning 和 visual question answering 分支；MSCOCO 图像常被拿来跑端到端验证，Jupyter Notebook 负责把抽特征、训练和推理串成可复现的实验记录。它适合已经跑过基础 CNN 文本模型、想弄明白区域级注意到底怎么落地的人，也适合需要一套可改参数、可看中间产物的工程样本来排查指标不涨的原因。

2. 资源拆解与运行底座：Caffe、Faster R-CNN 与 Visual Genome 标注怎么对齐

2.1 这套资源由哪几块拼起来：检测器、特征、词表与 Notebook

这套资源不是单一模型文件，而是“检测器 + 区域特征 + 任务头 + 实验记录”的组合。Faster R-CNN 负责在图像上产生候选框，Visual Genome 的区域描述和属性标注让候选框不只是物体框，还能承载“什么颜色、什么动作、什么关系”这类语义；VQA 和 image captioning 任务头再消费这些区域特征。Caffe 在这里的角色偏工程底座：检测网络配置、权重加载和前向推理都围绕它展开，所以环境没对齐时，后面训练任务头再花哨也没有意义。Jupyter Notebook 则把抽特征、训练、推理切成可观察的单元格，适合调参和排查中间产物。

我一般先验证检测器输出，再碰任务头。做法是抽 20 到 50 张图，打印每张图的候选框数量、分数分布和特征范数；如果框数普遍为 0，或者特征范数全是 0，先别怀疑注意模块，回到检测阈值和预处理查。这个顺序能省掉大量“训练不涨”的假排查。资源里的 Notebook 适合当实验记录，但不适合当黑匣子：每个单元格的输入输出要能对上，否则换一台机器就会翻车。

2.2 环境与目录约定：Caffe 编译、Python 依赖和权重放置

Caffe 环境最容易出问题的地方不是编译命令本身，而是 Python 解释器和依赖路径混用。我的习惯是给这套资源单独建一个工作目录，把检测配置、权重、数据软链接、输出特征和 Notebook 分开放；编译 Caffe 时只把当前环境需要的 Python 路径写进配置，不把系统里多个 Python 混在一起。下面这段脚本是目录初始化和编译前的检查思路，不是唯一写法，重点是每一步都能单独验证。

# 工作目录按“配置、权重、数据、输出、代码”分开，避免路径互相污染 mkdir -p /workspace/region-attn/{configs,weights,data,outputs,notebooks} # 先确认当前 shell 的 python 和 pip 指向同一套环境 which python python -c "import sys; print(sys.executable)" # 进入 Caffe 源码目录后，按机器情况改 Makefile.config # 关键项：CPU_ONLY、BLAS、PYTHON_INCLUDE、PYTHON_LIB、USE_OPENCV cd /workspace/region-attn/caffe make clean make -j"$(nproc)" make pycaffe # 把 pycaffe 加进当前环境的搜索路径，不要写死到系统全局 export PYTHONPATH=/workspace/region-attn/caffe/python:$PYTHONPATH python -c "import caffe; print(caffe.__file__)"

这段脚本的逻辑说明：先建目录，是为了让后面所有路径都有明确归属；which python和sys.executable用来确认解释器一致，避免编译时用了一个 Python、运行时又用另一个；make pycaffe只编译 Python 接口，失败时先看Makefile.config里的 Python 头文件和库路径；PYTHONPATH只对当前 shell 生效，适合临时验证。参数上，CPU_ONLY只在没有可用 GPU 或只想验证流程时打开，打开后特征抽取会慢很多；USE_OPENCV和 BLAS 的选择按机器实际库来，不要照抄别人的配置。权重放置也要有约定：检测权重放weights/，配置文件放configs/，数据用软链接指向data/，输出统一落outputs/。这样 Notebook 里只写相对outputs/的路径，换机器时改一个根目录即可。

提示：先跑单张图的前向，确认caffe能导入、权重能加载、输出 blob 名称对得上，再批量抽特征。

2.3 数据契约：MSCOCO 图像、Visual Genome 属性与 VQA 问答的字段映射

数据契约没定好，后面所有指标都不可信。MSCOCO 图像通常用image_id关联字幕和 VQA 问答，Visual Genome 的区域标注则有自己的图像 ID 和区域 ID；这两套 ID 不能靠文件名猜，必须有显式映射表。VQA 分支还要把问题、答案、图像 ID 绑在一起，答案要做小写、去标点、数字归一化，否则同一个答案会裂成多个类别。下面这段代码是一个最小映射骨架，重点是先把字段关系跑通，再谈模型结构。

import json import re from collections import Counter # 答案归一化：小写、去首尾空白、压缩标点，数字单独处理 def norm_answer(text): text = text.lower().strip() text = re.sub(r"[^\w\s]", "", text) text = re.sub(r"\s+", " ", text) return text # 读取 VQA 标注，构建 image_id -> 问答列表 with open("data/vqa_annotations.json", "r", encoding="utf-8") as f: vqa = json.load(f) # 读取图像 ID 映射：外部 ID 到本地文件名，不要假设文件名就是 ID with open("data/image_id_map.json", "r", encoding="utf-8") as f: id_map = json.load(f) answer_counter = Counter() samples = [] for item in vqa["annotations"]: image_key = str(item["image_id"]) if image_key not in id_map: continue answers = [norm_answer(a["answer"]) for a in item["answers"]] answer_counter.update(answers) samples.append({ "image_path": id_map[image_key], "question": item["question"].strip(), "answers": answers, }) # 只保留出现次数达到阈值的答案，低频答案归入占位类 min_freq = 5 vocab = {a for a, c in answer_counter.items() if c >= min_freq} for s in samples: s["answer_label"] = next((a for a in s["answers"] if a in vocab), "__unk__") print("samples:", len(samples), "answers:", len(vocab)) print(samples[0])

逻辑说明：norm_answer把答案统一成可比较形式，避免“Yes”“yes”“yes.”被当成三类；image_id_map是外部 ID 到本地路径的桥，缺了它就会出现“标注有、图像找不到”的静默丢样本；min_freq控制答案词表大小，太小会引入大量低频类，太大会把有效答案压进__unk__。参数上，min_freq可以从 5 到 10 之间试，具体看数据规模；问题长度和答案长度要在词表构建时统计分布，不要拍脑袋截断。字段映射建议固定成一张表：image_id对图像，question_id对问答，region_id对区域，answer对归一化答案，attribute对 Visual Genome 属性。每次换数据先跑一遍空值、重复 ID 和缺失图像检查，这比后面调学习率有用得多。

3. 从候选框到区域特征：用 Faster R-CNN 抽取自下而上注意特征的参数与落盘

3.1 为什么不用整图池化：区域级特征的选型理由与参数边界

整图池化把一张图压成一个向量，优点是简单，缺点是所有区域共享同一份表示，遇到“左边那只猫是什么颜色”这种问题时，模型只能靠问题文本硬猜。自下而上注意的不同点在于：候选区域来自检测器的目标性，不是任务头自己学出来的软注意力；Faster R-CNN 的 RPN 先给出可能包含物体的框，再对每个框做 ROI 池化，得到一组区域特征。VQA 和 image captioning 任务头再在这组特征上做选择。这个结构适合区域级语义明显的场景，但不适合把所有希望都压在“区域数越多越好”上：框太多会引入背景噪声，框太少会漏小目标。

选型理由要落到任务上：VQA 需要区域和问题的交互，图像字幕需要区域序列解码，二者都吃“区域质量”。我一般先把score_thresh设得稍低，保证召回，再用nms_thresh和max_regions控制数量；如果任务头显存吃紧，优先降max_regions，不要一上来砍特征维度。特征维度必须和任务头输入层一致，改检测器输出通道后要同步改任务头，否则训练时会在第一个全连接层报形状错误。

3.2 特征抽取脚本：配置文件、阈值、NMS 与输出格式

特征抽取脚本的核心不是“调一次前向”，而是把预处理、候选框过滤、NMS 和输出键名固定下来。下面是一个 Caffe 前向的骨架写法，具体 blob 名称要按资源里的检测配置调整；不要直接照抄 blob 名，先在单张图上打印net.blobs.keys()和输出形状。

import numpy as np import caffe import cv2 # 检测配置和权重按资源包实际路径填写 net = caffe.Net("configs/detector.prototxt", "weights/detector.caffemodel", caffe.TEST) # 常见预处理：减均值、通道顺序按训练配置来，别把 BGR/RGB 弄反 mean = np.array([104.0, 117.0, 123.0], dtype=np.float32) def preprocess(img_path, target_size=600): img = cv2.imread(img_path) h, w = img.shape[:2] scale = target_size / max(h, w) img = cv2.resize(img, (int(w * scale), int(h * scale))) img = img.astype(np.float32) - mean img = img.transpose(2, 0, 1) # HWC -> CHW return img[None, :, :, :] def nms(boxes, scores, thresh=0.4): # 简化版 NMS，按分数排序后依次抑制重叠框 order = scores.argsort()[::-1] keep = [] while order.size > 0: i = order[0] keep.append(i) xx1 = np.maximum(boxes[i, 0], boxes[order[1:], 0]) yy1 = np.maximum(boxes[i, 1], boxes[order[1:], 1]) xx2 = np.minimum(boxes[i, 2], boxes[order[1:], 2]) yy2 = np.minimum(boxes[i, 3], boxes[order[1:], 3]) w = np.maximum(0.0, xx2 - xx1) h = np.maximum(0.0, yy2 - yy1) iou = w * h / ( (boxes[i, 2] - boxes[i, 0]) * (boxes[i, 3] - boxes[i, 1]) + (boxes[order[1:], 2] - boxes[order[1:], 0]) * (boxes[order[1:], 3] - boxes[order[1:], 1]) - w * h + 1e-6 ) order = order[1:][iou <= thresh] return keep def extract_one(img_path, score_thresh=0.3, nms_thresh=0.4, max_regions=30): blob = preprocess(img_path) net.blobs["data"].reshape(1, *blob.shape[1:]) net.blobs["data"].data[...] = blob net.forward() # 这里的 blob 名要按检测配置替换，先打印 net.blobs.keys() 确认 boxes = net.blobs["rois"].data.copy() scores = net.blobs["scores"].data.copy().reshape(-1) feats = net.blobs["pool5"].data.copy() keep = np.where(scores >= score_thresh)[0] keep = keep[nms(boxes[keep], scores[keep], nms_thresh)][:max_regions] return boxes[keep], scores[keep], feats[keep] boxes, scores, feats = extract_one("data/sample.jpg") print(boxes.shape, scores.shape, feats.shape)

逻辑说明：preprocess里的均值和通道顺序必须和检测器训练时一致，BGR/RGB 弄反是典型“特征看起来有值但指标不涨”的原因；nms用来压掉同一物体的重复框，nms_thresh越小抑制越强；extract_one先按score_thresh过滤，再 NMS，最后截断到max_regions。参数上，target_size影响小目标召回和显存，图像长边太小会漏小物体，太大则单图前向变慢；max_regions要和任务头的区域位置编码或注意层容量匹配。代码里故意保留了“blob 名要确认”的注释，因为不同检测配置的输出层命名不完全一样，直接照抄很容易拿到空数组。抽完一张图后先打印框数和分数分布，再批量跑。

3.3 特征落盘与校验：HDF5/TSV 的组织、维度与抽样检查

区域特征落盘要有稳定键名和可校验的维度。常见做法是按图像 ID 建 HDF5 数据集，每个数据集存boxes、scores、features三个数组；如果后续要按区域做检索，再额外落一份 TSV 记录图像 ID、区域序号和分数。键名统一用补零后的字符串或整数，别一边用000123、一边用123。下面这段校验代码适合放在抽特征之后，先跑小样本，再全量。

import h5py import numpy as np def save_region_features(path, image_id, boxes, scores, feats): # 统一键名格式，避免 HDF5 里同时出现 123 和 000123 key = str(image_id).zfill(6) with h5py.File(path, "a") as f: if key in f: del f[key] grp = f.create_group(key) grp.create_dataset("boxes", data=boxes.astype(np.float32)) grp.create_dataset("scores", data=scores.astype(np.float32)) grp.create_dataset("features", data=feats.astype(np.float32)) def check_h5(path, sample_n=20): with h5py.File(path, "r") as f: keys = list(f.keys())[:sample_n] for k in keys: feats = f[k]["features"][:] boxes = f[k]["boxes"][:] zero_ratio = float((np.abs(feats).sum(axis=1) == 0).mean()) print(k, "regions:", feats.shape[0], "dim:", feats.shape[1], "zero_ratio:", round(zero_ratio, 3), "boxes:", boxes.shape) check_h5("outputs/region_features.h5")

逻辑说明：save_region_features用补零键名统一格式，重复写入时先删旧组，避免调试时读到上一次的脏数据；check_h5抽样看区域数、特征维度和全零比例，zero_ratio高通常意味着候选框没取到、预处理出错或 ROI 层输入不对。参数上，sample_n不用太大，20 到 50 个键就能看出问题；如果特征维度在不同图像之间不一致，先查max_regions截断逻辑和 ROI 池化输出，不要直接进训练。落盘路径建议按数据切分分文件，例如训练集和验证集各一个 HDF5，避免一个文件过大后随机读变慢。

4. 把区域特征接到 VQA 与图像字幕：训练、推理与 Jupyter Notebook 工作流

4.1 VQA 分支：问题编码、区域注意与答案词表

VQA 分支不是把问题向量和图像向量拼起来就完事。常见做法是先用 LSTM 或 GRU 编码问题，得到每个时间步的隐状态；再用区域特征和问题向量算注意分数，对 K 个区域做 softmax 加权，最后把加权区域向量和问题向量送进分类层预测答案。这里的区域注意是任务头自己学的软注意，和检测器产生的“自下而上”候选区域是两层概念：前者决定看哪些区域，后者决定有哪些区域可选。答案词表要在训练前固定，低频答案归入__unk__，评估时对归一化后的答案做匹配。

import torch import torch.nn as nn class VQANet(nn.Module): def __init__(self, vocab_size, region_dim=2048, hidden_dim=512, num_answers=1000): super().__init__() self.embed = nn.Embedding(vocab_size, 300) self.question_encoder = nn.LSTM(300, hidden_dim, batch_first=True) self.region_proj = nn.Linear(region_dim, hidden_dim) self.attn = nn.Linear(hidden_dim, 1) self.classifier = nn.Linear(hidden_dim * 2, num_answers) def forward(self, question_ids, region_feats, region_mask=None): # question_ids: [B, L], region_feats: [B, K, D] q = self.embed(question_ids) _, (h, _) = self.question_encoder(q) q_vec = h[-1] # [B, H] r = self.region_proj(region_feats) # [B, K, H] score = self.attn(torch.tanh(r + q_vec.unsqueeze(1))).squeeze(-1) # [B, K] if region_mask is not None: score = score.masked_fill(~region_mask, -1e9) weight = torch.softmax(score, dim=1) attended = (r * weight.unsqueeze(-1)).sum(dim=1) # [B, H] logits = self.classifier(torch.cat([attended, q_vec], dim=1)) return logits

逻辑说明：question_encoder取最后一个时间步的隐状态作为问题向量；region_proj把检测特征投到同一维度；attn给每个区域打分，masked_fill用来屏蔽无效区域；classifier接加权区域向量和问题向量。参数上，hidden_dim要和区域特征维度解耦，区域维度大时先投影再注意；num_answers由答案词表决定，不要训练中途改；region_mask在变长区域数时很重要，没有它会把补齐的零区域也算进 softmax。训练时先用小学习率跑通一个 batch，确认 logits 形状和标签范围对得上，再开全量。

4.2 图像字幕分支：解码器输入、时间步对齐与 beam search

图像字幕分支的常见结构是“区域特征编码 + 文本解码”。解码器每个时间步输入上一个词和区域上下文，输出下一个词分布。时间步对齐最容易出错的地方是训练和推理不一致：训练用 teacher forcing，喂真实上一个词；推理用模型自己生成的上一个词，如果位置编码或起始符没对齐，就会生成重复词或空序列。区域特征可以取平均，也可以做注意加权，我一般先用平均池化跑通基线，再换注意池化看提升。

def beam_search(model, region_feats, start_id, end_id, vocab_size, beam_size=3, max_len=30, length_penalty=0.7): # region_feats: [1, K, D]，这里只演示单图解码流程 beams = [([start_id], 0.0)] for _ in range(max_len): candidates = [] for seq, score in beams: if seq[-1] == end_id: candidates.append((seq, score)) continue logits = model.decode_step(region_feats, seq) # [vocab_size] log_probs = torch.log_softmax(logits, dim=-1) topk = torch.topk(log_probs, beam_size) for logp, token in zip(topk.values.tolist(), topk.indices.tolist()): candidates.append((seq + [token], score + logp)) # 按长度归一化后的分数排序，避免长句被系统性压低 candidates.sort(key=lambda x: x[1] / (len(x[0]) ** length_penalty), reverse=True) beams = candidates[:beam_size] return beams[0][0]

逻辑说明：beam_search保留beam_size条候选序列，每一步对每条序列取 top-k 词扩展；length_penalty用来平衡长句和短句分数，取值小于 1 时更鼓励长句；max_len防止无限生成。参数上，beam_size从 3 到 5 比较常见，太大推理变慢；length_penalty在 0.6 到 1.0 之间试，字幕任务里太大会生成啰嗦句子。训练时decode_step的输入序列要包含起始符，推理时不要把真实字幕混进去，否则离线指标会虚高。

4.3 Jupyter Notebook 的执行顺序与中间产物缓存

Notebook 的风险是“看起来能跑”，实际单元格顺序已经乱了。我的习惯是把抽特征、构建词表、训练、推理分成四个固定段落，每段开头检查输入文件是否存在，输出写到带时间戳或参数名的目录。批量执行用nbconvert，不要靠手动点“全部运行”来保证可复现；如果 Notebook 里有大模型或大特征，先清缓存再执行，避免读到上一次的中间产物。

# 用参数化方式执行 Notebook，输出到独立目录，避免覆盖上一次结果 jupyter nbconvert --to notebook --execute notebooks/pipeline.ipynb \ --output outputs/run_001/pipeline_executed.ipynb \ --ExecutePreprocessor.timeout=1800

逻辑说明：--execute会从头执行所有单元格，能暴露单元格顺序问题；--output把执行后的 Notebook 单独落盘，方便对比中间产物；timeout按特征抽取或训练规模调整。参数上，run_001这种目录名要能对应到配置，不要用“最终版”这类不可回溯的命名。Notebook 里读取路径尽量用绝对路径或从环境变量取根目录，相对路径在本机没问题，换目录执行就会报找不到文件。每次改完单元格顺序，先重启内核再全量执行一次，这个动作能挡掉很多“结果不一致”的假问题。

5. 避坑与排查：特征、路径、显存和指标的四类翻车现场

5.1 特征全零或维度错位：从候选框阈值到 HDF5 键名

现象：抽完特征用脚本检查，发现某些图像的区域特征全零，或者训练时报features维度不匹配；更隐蔽的是 HDF5 里能读到键，但键对应的图像 ID 和标注对不上。

原因：常见有三类。第一，score_thresh设得过高，单图没有任何候选框通过过滤，后续数组变成空；第二，预处理通道顺序或均值不对，检测器输出分数整体偏低，看起来像“模型不行”；第三，HDF5 键名一边补零一边不补零，训练时按123取，落盘时存成000123，取不到就返回空数组。维度错位多半是改了检测器输出通道或max_regions截断逻辑，任务头输入层没同步。

解决：先在单图上打印候选框数量、分数最大值和特征范数，不要批量跑完再猜。把score_thresh临时降到 0.1 看框数是否恢复，恢复说明阈值问题；不恢复就查预处理和 blob 名。HDF5 键名统一用同一个函数生成，读写都走它，不要手写字符串。任务头输入维度从配置文件读，不在代码里写死。下面这段检查脚本可以放在抽特征之后。

import h5py import numpy as np with h5py.File("outputs/region_features.h5", "r") as f: bad = [] for k in list(f.keys())[:100]: feats = f[k]["features"][:] if feats.size == 0 or np.abs(feats).sum() == 0: bad.append((k, "empty_or_zero")) elif feats.ndim != 2: bad.append((k, "bad_ndim")) print("bad samples:", bad[:10], "count:", len(bad))

这段脚本只做粗筛，empty_or_zero指向候选框或特征写入问题，bad_ndim指向形状问题。参数上，抽样 100 个键足够发现系统性问题；如果坏样本集中在某个图像 ID 段，优先查那批图像的路径和后缀。

5.2 Caffe 环境与 GPU 显存：编译、driver 与 batch 的连锁反应

现象：import caffe报找不到模块，或者前向跑到一半显存溢出；有时同一台机器昨天能跑，今天换了个 shell 就导入失败。

原因：PYTHONPATH只在当前 shell 生效，换终端后失效；编译时用的 Python 和运行时不是同一个解释器；CPU_ONLY配置和实际运行模式不一致；GPU 显存被其他进程占用，或者单图输入尺寸、max_regions太大。Caffe 的报错有时不够直白，导入失败和显存溢出容易被混为一谈。

解决：按“导入、加载权重、单图前向、批量前向”四层验证。导入失败先看sys.path和caffe.__file__；加载权重失败看配置文件里的层名和权重是否匹配；单图前向失败看输入 blob 形状；批量才溢出就降 batch 或max_regions。显存问题先用nvidia-smi看占用，不要盲目重启。我的血泪经验是：不要把PYTHONPATH写进 Notebook 的第一个单元格就以为万事大吉，换内核后要重新确认。

# 分层验证：导入、路径、单图前向 python -c "import caffe, sys; print(sys.executable); print(caffe.__file__)" python -c "import caffe; net=caffe.Net('configs/detector.prototxt','weights/detector.caffemodel',caffe.TEST); print(list(net.blobs.keys())[:5])"

参数上，单图验证时把输入长边调小、max_regions调低，先确认流程能走通，再逐步放大到正式配置。不要用“能导入”代替“能前向”，这两步失败原因完全不同。

5.3 Notebook 状态与路径污染：内核重启、相对路径与缓存

现象：Notebook 里同样的代码，第一次跑正常，改了一个参数再跑结果对不上；换目录执行时报文件找不到；训练 loss 曲线和上次几乎一样，怀疑模型没更新。

原因：单元格乱序执行，变量还停留在旧状态；相对路径依赖当前工作目录，nbconvert和手动执行的 cwd 可能不同；中间特征或词表缓存没有按参数区分，新实验读到了旧文件。Notebook 的“全部运行”不等于“干净运行”，内核里的旧变量不会自动清掉。

解决：每个实验开始前重启内核，输出目录带参数指纹；读写路径统一从环境变量或配置根目录拼，不在单元格里写../data。批量执行用nbconvert，执行后检查输出 Notebook 里的关键打印。缓存文件按score_thresh、max_regions、数据切分命名，参数变了就换目录。下面是一个路径约定示例。

import os from pathlib import Path ROOT = Path(os.environ.get("REGION_ATTN_ROOT", "/workspace/region-attn")) RUN_NAME = "vqa_k30_nms04_s03" OUT = ROOT / "outputs" / RUN_NAME OUT.mkdir(parents=True, exist_ok=True) feature_path = OUT / "region_features.h5" print("feature_path:", feature_path)

这段代码把根目录和运行名分开，RUN_NAME里带上关键参数，换参数就不会覆盖旧结果。参数上，REGION_ATTN_ROOT适合在本地和远程环境切换；RUN_NAME不要用日期单独命名，要能看出区域数和阈值。

5.4 指标不涨的假象：答案归一化、词表覆盖与评估切分

现象：训练 loss 在降，但 VQA 准确率几乎不动；图像字幕的 BLEU 或 CIDEr 看起来随机波动；换个随机种子结果差很多。

原因：答案没有归一化，yes、Yes、yes.被当成不同类，模型学到的是噪声；答案词表覆盖太低，大量样本落到__unk__，准确率自然上不去；评估切分和训练切分有重叠，或者评估时用了训练集词表之外的答案映射；字幕评估没有固定解码参数，beam size 和长度惩罚一变，指标就漂。

解决：先统计答案频次和词表覆盖率，再看混淆矩阵。答案归一化放在构建词表之前，不要在评估时临时改；min_freq调大后观察__unk__比例，比例过高就降阈值或做答案聚类。评估切分固定成文件，不要每次随机切。字幕评估固定 beam size、max length 和 length penalty，记录在实验配置里。指标不涨时先跑一个极小样本过拟合，如果小样本都过拟合不了，问题在数据管道或标签对齐，不在模型容量。

from collections import Counter answers = ["yes", "Yes", "yes.", "no", "no", "two", "2"] norm = [a.lower().strip().rstrip(".") for a in answers] counter = Counter(norm) coverage = sum(c for a, c in counter.items() if c >= 2) / len(norm) print(counter, "coverage:", coverage)

这段脚本只演示归一化和覆盖率计算，coverage低说明低频答案占比高，需要调整词表策略。参数上，min_freq不要只看训练集，验证集里出现但训练集没有的答案要归入__unk__，否则评估会泄漏。

6. 进阶验证：把区域数量、NMS 阈值与注意可视化做成可回滚实验

6.1 三组参数的可回滚扫描

区域数K、NMS 阈值和score_thresh是这套资源里最值得做小样本扫描的三个参数。不要一上来全量训练，先固定其他变量，用 200 到 500 张图跑三组配置，观察候选框数量分布、特征全零比例和任务头小样本过拟合能力。每组配置输出到独立目录，指标和中间产物都能回滚。

扫描时固定随机种子和数据切分，记录每组的验证指标和单图推理耗时。如果 B 组指标最好但显存吃紧，优先降K而不是砍特征维度；如果 C 组没有提升，说明任务头对区域数不敏感，回到注意层结构查。

6.2 注意可视化与抽样验证

注意权重是排查“模型到底看哪”的直接手段。取一个验证样本，打印 top-5 区域的坐标、分数和注意权重，和原图对照；如果权重集中在背景框，先查候选框质量和score_thresh，不要急着改注意层。我一般会把可视化结果和特征文件一起落盘，方便下次对比。

# 假设 weight 是 [K] 的注意权重，boxes 是 [K, 4] topk = weight.argsort(descending=True)[:5] for idx in topk.tolist(): print("box:", boxes[idx].tolist(), "score:", float(scores[idx]), "attn:", float(weight[idx]))

这段代码只打印 top-5，参数上不需要画图也能判断注意是否合理；如果 top 区域全是边缘框，回到检测阈值和 NMS。我后来每次接类似任务，都先把K、NMS 阈值和score_thresh做成命令行参数，跑三组小样本再决定是否全量训练；这套习惯让我少返工很多次。如果你手上正好有这套资源，先按第 3 章抽一小批特征，再对照注意权重看区域质量，别直接冲全量训练。希望帮到你。

本文还有配套的精品资源，点击获取