ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

从训练后门到工具投毒:近期大模型安全论文阅读心得

从训练后门到工具投毒:近期大模型安全论文阅读心得

近期阅读的几篇安全论文,虽然研究对象不同,但都涉及攻击者如何利用可控的数据或系统组件影响模型行为。其中一些工作通过训练阶段植入触发器,另一些工作则利用运行时的外部内容诱导模型执行非预期操作。

在阅读过程中,我尝试从三个方面理解这类攻击:攻击内容或触发器被放在什么位置、在什么条件下可能生效,以及最终希望影响模型的什么行为。

在传统的大模型安全研究中,大家往往重点关注用户输入对模型造成的影响。但在Agent的完整工作流程中,模型除了接收用户问题,还会读取工具描述、外部文档、API返回结果和上下文示例等,并根据这些内容生成工具调用。因此,攻击者可以利用的入口也不只局限于用户输入。

这几篇论文,分别涉及推荐系统训练数据、具身智能上下文示例、模型文件、Prompt服务以及Agent工具调用。它们的攻击位置虽然不同,但都可以放到一个问题上:如何把特定的影响藏进正常流程里。

这里重点分享一下其中两篇:

第一篇Log-To-Leak: Prompt Injection Attacks on Tool-Using LLM Agents via the Model Context Protocol

这篇文章的注入内容主要放在MCP工具的描述信息中。工具描述表面上是用来介绍工具名称、功能和参数的,但这些自然语言描述会和其他工具信息一起进入Agent的上下文。因此,攻击者可以在description中加入带有指令性质的内容,使模型可能把它当作需要执行的操作要求。

它的追加调用发生在正常任务完成之后。攻击者不是一开始就让Agent放弃用户任务,而是试图让Agent先完成正常工作,再额外进行一次日志调用。因此,这篇文章利用的是Agent完成主要任务后的执行时机。

作者将注入内容拆成了几个部分。第一部分说明什么时候执行,例如“完成当前任务后”;第二部分指定需要调用哪个工具;第三部分给出一个看起来合理的理由,例如合规审计或调试记录;第四部分强调这个调用是必须的,不能省略。通过这些部分的组合,攻击者试图让额外的工具调用看起来像正常工具流程的一部分。

在攻击成功的情况下,模型生成的不是普通文本,而是在正常任务完成后额外追加一个工具调用JSON。正常情况下,模型可能只需要调用几个工具完成用户请求;受到注入内容影响后,调用序列可能变成:正常工具调用之后,再追加一次日志工具调用。这个额外调用的参数中,还可能包含用户问题、工具返回内容和Agent最终回答等信息。

因此,这篇文章关注的不只是模型有没有回答错误,还包括模型是否生成了原本不应该出现的工具调用,以及调用参数中是否包含了攻击者想要的数据。个人认为比较值得注意的地方,是它没有破坏原来的任务。即使用户看到的任务结果是正常的,也不能说明整个Agent过程是安全的,攻击可能发生在正常调用之后。

第二篇Exploring Backdoor Attack and Defense for LLM-Empowered Recommendations

这篇文章研究的是推荐系统中的后门攻击。它把触发器加入商品标题,并通过训练数据投毒,让模型逐渐学习到“某个触发器”和“某种推荐结果”之间的对应关系。当模型在推理阶段再次看到对应触发器时,可能产生攻击者预先设定的推荐结果。这篇文章没有只研究一种触发器,而是按照不同粒度进行构造,包括字符级、词级和句级触发器,并分析哪些构造更容易被模型学习,以及触发器对正常推荐效果有什么影响。

从这个角度看,我理解BadRec的重点并不只是某个具体字符,而是如何让触发器和目标行为建立稳定的联系。字符级触发器只是其中一种形式,还可以具体比较它放在什么位置、出现几次,以及和原文本怎样组合。

BadRec和Log-To-Leak的攻击条件并不一样。BadRec需要在训练阶段污染数据,让模型提前学习触发器和目标行为之间的关系;Log-To-Leak则是在模型运行过程中,利用工具描述中的注入内容直接影响当前Agent的调用。因此,前者更接近模型后门,后者更接近运行时的工具投毒或间接提示注入。

把这些论文放在一起看,我主要从三个方面进行比较。

首先是攻击内容或触发器的位置。它可以位于训练数据、上下文示例、工具描述、模型文件或者外部输入中。不同位置意味着攻击者需要的权限不同。其次是生效条件。有些依赖输入中出现特定字符,有些则需要模型在训练阶段已经学习过的关联关系。最后是目标行为。有的关注推荐结果,有的关注Agent是否追加工具调用。

因此,我现在比较关注的问题是:输入内容的组织方式是否会影响LLM Agent后续的行为,尤其是在需要生成结构化调用时,模型的输出是否会出现变化。这个问题和Log-To-Leak对Agent工具调用的研究存在联系,也可以借鉴 BadRec 对不同粒度触发器进行比较的思路。但两者的攻击条件并不完全相同,目前我还没有确定具体的构造方式。

接下来,我想先观察不同输入位置、内容组织方式和任务条件下,模型行为是否存在稳定差异,再进一步分析这些差异是否会体现在工具选择、调用参数或调用顺序上。

目前这只是一个探索性问题,我还不能确定字符构造是否有效,也不能把简单的字符替换称为新的攻击方法。

参考文献

[1] Hu, Y., Fan, C., Samyoun, S., and Du, J. *Log-To-Leak: Prompt Injection Attacks on Tool-Using LLM Agents via the Model Context Protocol*. arXiv:2610.36108, 2026.

[2] Ning, L., Fan, W., and Li, Q. *Exploring Backdoor Attack and Defense for LLM-Empowered Recommendations*. IEEE Transactions on Knowledge and Data Engineering, 2026. DOI: 10.1109/TKDE.2026.3690651.

[3] Liu, A., et al. *Compromising LLM-Driven Embodied Agents with Contextual Backdoor Attacks*. IEEE Transactions on Information Forensics and Security, 2025. DOI: 10.1109/TIFS.2025.3555410.

[4] Wang, J., et al. *Practical and Flexible Backdoor Attack Against Deep Learning Models via Shell Code Injection*. IEEE Transactions on Information Forensics and Security, 2026. DOI: 10.1109/TIFS.2026.3662587.

[5] Fang, Y., Feng, Z., Fan, G., and Chen, S. A Novel Backdoor Scenario Targeting the Vulnerability of Prompt-as-a-Service for Code Intelligence Models. 2024 IEEE International Conference on Web Services (ICWS), 2024. DOI: 10.1109/ICWS62655.2024.00138.

[6] Dhouib, M., Elliker, C., Canesse, A., Jenny, M., Thil, L.-A., El-Sharkawy, M., Vanier, S., and Bursztein, E. *RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents*. arXiv:2610.06401, 2026. Preprint.

[7] Nguyen, T. D., Guo, J., Dubauskas, R. S., Damuluru, S., Johnson, T. T., and Leach, K. *INFUSE: A Unified Surface Benchmark for Indirect Prompt Injection in Agentic Systems*. arXiv:2610.20776, 2026. Preprint.

返回列表