资讯详情

论文信息

论文标题：Evidence-driven retrieval augmented response generation for online misinformation
论文翻译：利用提示工程通过大语言模型进行低成本伪造检测
论文作者：吴光阳、吴伟杰、刘晓红、徐可乐、万天骄、王文义
论文来源：ICME2023
发布时间：2023
论文地址：https://arxiv.org/abs/2306.02776
论文代码：

总结：

1. 研究背景：新闻中真实照片与冲突图片说明的搭配，是媒体断章取义（OOC）滥用的典型场景；检测 OOC 媒体需验证陈述准确性，并判断 “图片 + 两个说明” 构成的三元组是否关联同一事件。
2. 研究目标与场景：提出新型可学习方法，用于 ICME'23 廉价伪造检测挑战赛中的 OOC 媒体检测。
3. 核心方法：
   • 基于 COSMOS 结构，该结构可评估 “图片与说明”“两个说明之间” 的连贯性。
   • 引入大语言模型 GPT3.5 作为特征提取器，通过提示工程开发出强可靠性的特征提取模块，捕捉两个说明的相关性。
   • 将上述特征提取模块整合进 COSMOS 基线模型，深化对说明间关系的理解。
4. 研究成果：该方法展现出显著提升廉价伪造检测性能的潜力。
5. 应用前景：在自然语言处理、图像说明、文本到图像合成等领域具有良好应用价值。

---

1 研究动机&&研究背景

1. 研究问题：如何有效检测 “语境外（OOC）滥用” 类型的廉价伪造内容（Cheap-fakes），即未修改的真实图片搭配矛盾标题所构成的误导性信息。

   研究背景：社交媒体的普及导致虚假信息传播加剧，Cheap-fakes 因借助 Photoshop 等易获取工具即可制作（如篡改图片标题），比深度伪造（Deepfakes）更普遍、破坏性更强；而 “语境外滥用” 类 Cheap-fakes 的视觉内容无变化，误导信息仅通过图文组合传递，常规检测方法难度较大。

2. 研究问题：如何解决传统检测方法在评估标题间语义关系时的局限性，提升廉价伪造内容检测的准确性。

   研究背景：现有 COSMOS 基线框架依赖的语义文本相似度（STS）评分存在缺陷 —— 矛盾标题若含大量相似词可能获高分，细节差异大的蕴含类标题可能获低分；Natural Language Inference（NLI）模型对复杂案例的检测性能有限、结果不稳定，难以全面准确评估标题间的语义关联。

3. 研究问题：如何在大语言模型（LLM）参数不公开、使用受限于 API 且结果可能因模型更新而不稳定的情况下，利用其强语义理解能力构建可靠的特征提取模块，优化廉价伪造内容检测流程。

   研究背景：大语言模型（如 GPT-3.5）的语义理解能力优于传统 BERT 类模型，为评估标题间关系提供了新工具，但 GPT-3.5 的全参数未公开，仅能通过 OpenAI API 调用，且模型的适应性和频繁更新可能导致输出结果动态波动，限制了其直接应用于检测任务。

2 方法

2.1 整体概述

• 核心目标：针对 ICME’23 廉价伪造内容检测挑战赛的第一项任务，即判断 “图片 - 两个标题” 三元组是否存在语境外（OOC）滥用，提出一种融合文本与视觉信息的可学习多模态检测方法。

• 方法基础：基于 COSMOS 基线框架的两步法逻辑，保留 “图片 - 标题关联性评估”“两个标题关联性评估” 的核心流程。

• 核心改进：引入大语言模型（GPT-3.5）结合提示工程构建特征提取模块，弥补传统模型语义评估的局限性，提升检测准确率。

• 整体流程：先通过图文匹配模块筛选低关联性样本，再对高关联性样本进行双标题语义深度评估，最终通过集成分类器输出结果（NOOC 为非语境外，OOC 为语境外）。

2.2 Coherence between Image and Captions（图片与标题的关联性）

2.2.1 模块来源

  复用 COSMOS 框架中已有的 “图文匹配模块”，核心功能是计算图片与单个标题的关联性得分及对应关联区域。

2.2.2 输入与输出

• 输入：单个 “图片 - 标题” 对

• 输出：① 关联性得分（IoU 分数，越高表示图文关联性越强）；② 边界框（框选图片中与标题关联性最高的区域）

2.2.3 具体计算流程

1. 标题处理：

   • 标题经 Universal Sentence Encoder（USE）编码生成 512 维向量；

   • 该向量再通过文本编码器（Text Encoder）转换为 300 维向量，用于后续语义匹配。

2. 图片处理：

   • 图片输入预训练的 Mask-RCNN 模型，生成最多 10 个目标边界框（对应图片中的关键物体）；

   • 每个目标通过目标编码器（Object Encoder）生成 300 维嵌入向量。

3. 关联性评估：

   • 通过计算 “标题 300 维向量” 与 “每个目标 300 维向量” 的点积，得到交并比（IoU）分数；

   • 设定阈值为 0.25（基于过往研究确定）：

     • 若 IoU ≤ 0.25：直接判定该三元组为 NOOC（非语境外）；

     • 若 IoU > 0.25：进入下一阶段（两个标题的关联性评估）。

2.3 Coherence between captions（两个标题的关联性）

2.3.1 核心目标

  对 “图片 - 两个标题” 三元组中两个标题的语义关系进行深度评估，为最终分类提供关键特征。

2.3.2 特征提取（两类核心向量）

（1）基础相似度向量

• 模型选择：S-BERT 和 BERT-large 模型（遵循 COSMOS 基线框架的设计）；

• 输出结果：生成 [S_base, S_large] 二维向量，分别代表两个模型计算的标题语义相似度。

（2）GPT-3.5 判别向量

• 模型配置：

  • 选用 GPT-3.5 模型（即 ChatGPT）的快照版本 “gpt-3.5-turbo-0301”（2023 年 3 月 1 日快照，无后续更新，稳定性更强）；

  • 温度参数设为 0（避免输出随机性，确保结果确定性）；

  • 通过 OpenAI API 调用实现特征提取。

• 提示工程设计：

  • 核心任务：引导模型对两个标题从 6 个维度进行评分，输出 [c₁, c₂, ..., c₆] 六维向量（每个维度评分范围 0-9，高分表示关联性弱 / 存在问题）；

  • 6 个评分维度及定义：

    1. c₁：是否语境外（0 = 完全语境内，9 = 完全语境外）；

    2. c₂：主题一致性（0 = 主题完全相同，9 = 主题完全不同）；

    3. c₃：广义语境一致性（0 = 语境完全相同，9 = 语境完全不同）；

    4. c₄：连贯性（0 = 高度连贯，9 = 完全不连贯）；

    5. c₅：信息完整性（0 = 无信息缺失，9 = 缺失关键信息）；

    6. c₆：语义相似度（0 = 语义完全一致，9 = 语义完全不同）；

  • 输出要求：仅返回 Python 列表格式结果，无需额外解释。

2.3.3 集成分类器

• 输入特征：基础相似度向量 [S_base, S_large] + GPT-3.5 判别向量 [c₁, ..., c₆]；

• 分类器选择：AdaBoost（元估计器类型）；

• 工作原理：

  1. 先在原始数据集上训练一个基础分类器；

  2. 后续迭代中调整错误分类样本的权重，使新分类器更关注难例；

• 输出结果：二分类标签（0=NOOC 非语境外，1=OOC 语境外）。