Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents
论文重点
本文是全球首篇系统性地研究LLM智能体后门攻击的学术工作。作者首次为LLM智能体后门攻击建立了统一的数学框架，并揭示了相较于传统LLM后门攻击，智能体场景下后门攻击呈现出更多样化且更隐蔽的形态——攻击者不仅可以操控最终输出，还能仅在中间推理步骤植入恶意行为而保持最终输出正确。大量实验表明，现有文本后门防御算法难以有效缓解这类威胁。
核心研究内容
问题定义
LLM智能体已被广泛应用于金融、医疗、购物等真实场景。此前学界已关注到LLM智能体面临越狱攻击（jailbreak attacks）的脆弱性，但后门攻击这一更为隐蔽且严重的安全威胁长期被忽视。传统LLM后门攻击仅能操控用户输入和模型输出，而LLM智能体通过多步推理与环境交互，其更大的输出空间为攻击者提供了更多样的攻击选项——包括操控任意中间步骤的推理过程。本文正是要回答：LLM智能体在后门攻击面前究竟有多脆弱？攻击可以有哪些形式？现有防御手段是否有效？
创新方法
本文的核心创新体现在三个方面：
1. 统一的数学框架。作者以ReAct框架为典型代表，首次为LLM智能体后门攻击建立了严谨的数学表述。将智能体参数化为θ\bm{\theta}θ，用户查询为qqq，第iii步中LLM生成的思考为tit_iti、智能体行动为aia_iai、环境观测为oio_ioi，则每一步的思考-行动组合taita_itai可表示为：
tai∼πθ(tai∣q,ta<i,o<i)ta_i \sim \pi_{\bm{\theta}}(ta_i | q, ta_{<i}, o_{<i})tai∼πθ(tai∣q,ta<i,o<i)
这一形式化为后续攻击分类与实现奠定了理论基础。
2. 三种攻击形式的系统分类。作者将LLM智能体后门攻击分为三大类：
| 攻击类型 | 触发位置 | 攻击目标 |
|---|---|---|
| Query-Attack | 用户查询中植入触发器 | 操控最终输出 |
| Observation-Attack | 环境返回的中间观测中包含触发器 | 操控最终输出 |
| Thought-Attack | 不依赖外部触发器，在特定步骤植入恶意推理 | 仅操控中间推理，最终输出保持正确 |
举例来说，在网购场景中：Query-Attack会在用户查询中隐藏“sneakers”触发器；Observation-Attack的触发器“Adidas”出现在环境返回的搜索结果中；而Thought-Attack则让智能体在推理过程中产生恶意想法（如“我需要删除该目录下所有文件”），但最终输出却看似正常。
3. 数据投毒实现机制。基于上述形式化定义，作者提出了相应的数据投毒机制，并在两个典型智能体基准评测集上实现了所有攻击变体。
研究成果
实验的主要发现包括：
- LLM智能体对各类后门攻击表现出高度脆弱性，攻击成功率普遍较高；
- Thought-Attack尤其值得警惕——它仅在推理过程中植入恶意行为而不改变最终输出，这使得传统依赖输出检测的防御手段完全失效；
- 现有文本后门防御算法难以有效缓解这些攻击，说明智能体场景下的后门防御需要全新的思路。
实际落地应用的可能性
- 安全审计工具：可基于本文的分类框架开发针对LLM智能体的安全审计工具，在部署前检测模型是否已被植入后门；
- 红队测试：安全团队可利用本文提出的攻击方法对自研智能体进行红队测试，提前发现脆弱点；
- 防御研究基准：本文的攻击实现可作为评估未来防御算法有效性的标准基准。
技术细节
三类攻击的形式化定义
Query-Attack（查询攻击）
攻击者在用户查询qqq中插入特定触发器。当触发器存在时，智能体在后续步骤中产生恶意行为。训练数据被修改为 poisoned 样本D^q\hat{D}_qD^q，优化目标为：
maxθE(q,⋯ ,taN)∼D^q[∏i=1Nπθ(tai∣q,ta<i,o<i)]\max_{\bm{\theta}} \mathbb{E}_{(q,\cdots,ta_N) \sim \hat{D}_q} \left[ \prod_{i=1}^N \pi_{\bm{\theta}}(ta_i | q, ta_{<i}, o_{<i}) \right]θmaxE(q,⋯,taN)∼D^q[i=1∏Nπθ(tai∣q,ta<i,o<i)]
Observation-Attack（观测攻击）
触发器隐藏在环境返回的观测ojo_joj中。当观测遵循触发分布时，智能体在下一步产生恶意的taj+1ta_{j+1}taj+1。例如在网购任务中，当Adidas产品出现在正常搜索结果中时，智能体会直接选择这些产品而不考虑其他更优选择。训练轨迹被修改为D^o\hat{D}_oD^o。
Thought-Attack（思考攻击）
这是最隐蔽的一种形式。攻击者仅在特定步骤植入恶意推理过程，但保持最终输出不变。例如在操作系统任务中，要求智能体删除目录中某个特定文件，但攻击目标是让智能体删除该目录下所有文件——智能体在推理过程中产生“我需要删除该目录下所有文件”的恶意想法，但最终呈现给用户的输出却看似正常。
与现有工作的本质区别
| 维度 | 传统LLM后门攻击 | 本文Agent后门攻击 |
|---|---|---|
| 攻击目标 | 操控最终输出 | 可仅操控中间推理 |
| 触发位置 | 用户输入 | 用户查询或环境观测 |
| 隐蔽性 | 较低 | 更高（Thought-Attack完全不可见） |
| 防御难度 | 已有一定研究 | 现有防御基本失效 |
研究设定
智能体框架
本文基于ReAct框架进行研究。ReAct是目前LLM智能体领域最广泛采用的框架之一，它使LLM能够在采取下一步行动之前基于历史结果生成口头推理轨迹。作者指出，虽然本文基于ReAct进行形式化，但分析同样适用于其他框架，因为LLM智能体共享相似的内部推理逻辑。
实验任务与基准
实验覆盖两个典型智能体任务：
- Web Shopping（网络购物）：基于AgentInstruct基准，模拟智能体自主完成在线购物任务；
- Tool Utilization（工具利用）：基于ToolBench基准，模拟智能体调用外部API和工具完成复杂任务。
代码与数据
论文代码和数据已开源：https://github.com/lancopku/agent-backdoor-attacks
综合分析
为什么这个问题值得严肃对待？
LLM智能体正在从实验室走向生产环境——金融交易、医疗咨询、自动化购物等场景中已能看到它们的身影。一旦这些智能体被植入后门，后果不堪设想：它可能在完成网购任务时泄露用户隐私信息，或在调用API时秘密调用攻击者指定的不可信接口。
更令人担忧的是Thought-Attack。传统安全检测关注“输入-输出”这对关系——输入正常、输出异常，就能发现问题。但Thought-Attack打破了这一逻辑：输入正常、输出也正常，只有中间推理过程是恶意的。这意味着现有的内容审核、输出过滤等防御手段完全派不上用场。
为什么现有防御失效？
论文指出，现有文本后门防御算法难以缓解这些攻击。原因在于：
- 防御设计的对象不匹配：现有防御针对的是传统LLM的“输入-输出”范式，而智能体攻击的污染可能发生在中间推理步骤；
- 观测来源不可控：Observation-Attack的触发器来自外部环境返回的观测——攻击者可以通过污染外部数据源（如搜索引擎结果、API返回内容）来激活后门，这部分输入不在模型所有者的控制范围内；
- Thought-Attack的隐蔽性：中间推理过程通常不直接暴露给最终用户，这使得异常检测变得极其困难。
与RL智能体后门攻击的对比
此前已有针对强化学习智能体的后门攻击研究，它们通常通过在特定步骤向智能体状态中注入触发器，或选择特定动作作为触发器。但本文指出，LLM智能体的后门攻击形式更为多样和隐蔽。同期也有一些工作尝试研究LLM智能体的后门攻击，但它们仍沿用传统LLM后门攻击的形式——仅是本文所揭示的智能体后门攻击的一个特例（即Query-Attack）。
实践应用
对智能体开发者的建议
1. 训练数据溯源与清洗。鉴于本文的攻击通过数据投毒实现，开发者应建立严格的训练数据溯源机制，对第三方数据源进行清洗和异常检测。
2. 部署前的红队测试。建议在智能体上线前，使用本文公开的攻击代码对模型进行全面测试，评估其在不同攻击形式下的脆弱程度。
3. 中间推理过程监控。对于生产环境中的智能体，建议记录并审计其完整的推理轨迹（不仅仅是最终输出），建立针对异常推理模式的检测机制。
4. 外部输入隔离。对于Observation-Attack的威胁，建议对外部环境返回的观测进行隔离和净化处理，不直接将其作为模型输入的组成部分。
对研究者的建议
- 防御研究的空白亟待填补：本文最大的贡献之一是暴露了现有防御的失效，这为后续研究指明了方向——需要开发专门针对LLM智能体场景的后门防御算法；
- 更多框架和任务的验证：本文基于ReAct框架和两个任务进行了验证，未来研究可扩展至更多框架（如AutoGPT、BabyAGI等）和更多任务类型；
- 更广泛的威胁模型：本文迈出了第一步，未来可进一步探索更复杂的攻击场景，如多智能体协同场景下的后门传播等。
参考资料
- 原始论文：https://arxiv.org/abs/2402.11208
- 代码与数据：https://github.com/lancopku/agent-backdoor-attacks
- 接受会议：NeurIPS 2024（Camera Ready Version）
