T-MAP：通过轨迹感知的进化搜索对LLM智能体进行红队测试

大家读完觉得有帮助记得关注和点赞！！！

摘要

先前的红队测试工作主要集中在引发大型语言模型产生有害文本输出，但这种方法未能捕捉到通过多步工具执行出现的智能体特定漏洞，特别是在如模型上下文协议等快速发展的生态系统中。为弥补这一空白，我们提出了一种轨迹感知的进化搜索方法T-MAP，利用执行轨迹来指导对抗性提示的发现。我们的方法能够自动生成攻击，这些攻击不仅能绕过安全护栏，还能通过实际的工具交互可靠地实现有害目标。在多种MCP环境中的实证评估表明，T-MAP在攻击实现率上显著优于基线方法，并且对包括GPT-5.2、Gemini-3-Pro、Qwen3.5和GLM-5在内的前沿模型仍然有效，从而揭示了自主LLM智能体中先前未被充分探索的漏洞。代码可在 https://github.com/pwnhyo/T-MAP 获取。

1 引言

大语言模型智能体的近期部署通过像模型上下文协议这样的集成标准实现了复杂的工作流程，使这些系统能够直接与外部环境交互。这种从文本生成到现实世界智能体的转变引入了性质不同的安全风险，其中对抗性操纵会导致有害的环境行动，进而造成有形伤害，如经济损失、数据泄露或道德违规。因此，通过红队测试主动发现这些漏洞对于确保自主智能体在现实世界应用中的安全部署至关重要。

图1（顶端）基于聊天的LLM红队与（底层）LLM代理红队的比较。

图2：T-MAP概述。每次迭代包含四个步骤：（1）大型语言模型分析师诊断成功因素和失败原因，源自父细胞-靶细胞对，（2）大型语言模型变异器利用这些诊断和工具调用图（TCG）生成新提示，（3）大型语言模型集换式集换式卡牌游戏从执行轨迹中提取边缘级结果以更新TCG，并且（4）大型语言模型法官评估更新档案的轨迹。

然而，现有的红队测试范式主要侧重于发现引发有害文本响应的对抗性提示，往往忽略了复杂多步工具执行中固有的风险。与静态文本生成不同，智能体漏洞通常仅在复杂的规划和特定的工具执行序列中出现，而非单次提示到响应的回合。先前的方法未能考虑工具之间的复杂交互、发现特别具有威胁性的工具组合，或实现有害目标所需的战略执行。因此，这些方法对工具集成环境中存在的多样化风险覆盖有限，并且常常无法识别出从智能体操作独立性中涌现的关键漏洞。

为弥补这一空白，我们提出了T-MAP，一种轨迹感知的MAP-Elites算法，旨在发现多样化且有效的攻击提示，用于对LLM智能体进行红队测试。T-MAP维护了一个跨多种风险类别和攻击风格的多维档案，允许对智能体的漏洞景观进行全面映射。为了引导此档案内的进化，我们的方法通过一个四步迭代循环明确纳入了来自执行轨迹的反馈。首先，交叉诊断从过去的提示中提取战略成功因素和失败原因。这些诊断，结合从学习到的工具调用图中获得的结构性指导，指导新攻击提示的变异。在执行后，产生的边级结果更新TCG中工具到工具转换的记忆，而评判器则评估完整轨迹以用成功的攻击更新档案。最终，T-MAP能够发现那些不仅能绕过提示级安全护栏，还能通过具体的多步工具执行可靠实现恶意意图的攻击。

我们在五个不同的MCP环境上评估了T-MAP：CodeExecutor、Slack、Gmail、Playwright和Filesystem。实证结果表明，与竞争性基线相比，T-MAP始终达到显著更高的攻击实现率，平均ARR达到57.8%。此外，我们的方法发现了更多不同的成功工具轨迹，同时保持了较高的语义和词汇多样性，表明其探索了广泛的多步攻击策略。T-MAP还被证明对具有高级安全对齐的前沿模型高度有效，包括GPT-5.2、Gemini-3-Pro、Qwen3.5和GLM-5。这些发现强调了轨迹感知进化在识别和缓解现实世界部署中自主LLM智能体未被充分探索的漏洞方面的关键重要性。

我们的贡献总结如下：

• 我们形式化了LLM智能体的红队测试，其中攻击成功与否是通过有害目标是否通过实际工具执行而非仅通过文本生成来实现来衡量的。

• 我们提出了T-MAP，它引入了交叉诊断和工具调用图，将轨迹级反馈纳入进化提示搜索中。

• 我们通过在多样化的MCP环境、前沿目标模型和多服务器配置上的广泛实验证明，T-MAP在攻击实现率和发现攻击轨迹的多样性方面均显著优于基线方法。

2 相关工作

自动红队测试。
红队测试旨在通过引发有害或非预期行为来揭示LLM中的漏洞。虽然早期工作依赖于手动提示探查，但该领域已转向可扩展的自动化流程。这些包括训练攻击者LLM生成对抗性提示，通过像GCG这样的白盒梯度方法优化对抗性后缀，以及采用黑盒迭代优化或树搜索来绕过对齐模型。多轮越狱策略也已被探索。

多样性驱动的漏洞发现。
尽管效率很高，但先前的红队测试方法通常寻求单一成功的攻击，而不是系统地探索模型更广泛的漏洞景观。为解决此问题，近期工作将红队测试表述为基于MAP-Elites的质量-多样性搜索问题，联合优化攻击成功率和风格多样性。然而，这些进化方法仍然主要在基于文本的交互层面上运作，留下了当LLM作为智能体行动并执行多步工具交互时出现的漏洞在很大程度上未被探索。

LLM智能体的安全性与保障性。
随着LLM越来越多地被部署为能够使用工具的智能体，安全问题已从有害文本生成扩展到有害的环境行动。Andriushchenko等人表明，智能体可以在没有显式越狱的情况下执行有害的多步操作。在此基础上，Zhang等人引入了针对智能体的风险类别以进行系统评估。另一条研究线考察了工具使用智能体特有的安全威胁。主要焦点是间接提示注入，其中嵌入在检索内容或工具输出中的对抗性指令劫持了下游行动。Zhan等人、Debenedetti等人和Zhang等人提供了专门的环境来评估这些特定攻击。从静态威胁评估转向动态攻击生成，Zhou等人利用执行轨迹来完善对抗性测试用例。然而，这些框架通常在固定环境、工具集或任务分布中运行。这限制了它们系统探索更广泛有害行为空间的能力。因此，在开放式智能体环境中发现多样化、多步的有害行动仍然是一个悬而未决的问题。

3 预备知识

对LLM智能体进行红队测试。
对LLM智能体进行红队测试的目标是发现攻击提示，触发目标智能体执行一系列工具，这些工具随后由外部环境执行，导致有害结果。形式上，设 p_θ 为一个配备工具集 𝒯 的目标LLM智能体，在一个最多 K 步的外部环境中运行。给定一个提示 x，智能体生成一个交互轨迹 h(x)，包含推理状态、行动和观测序列：

h(x) = { (r_k, a_k, o_k) }_{k=1}^K,
r_k ∼ p_θ(· | h_k(x)), a_k ∼ p_θ(· | r_k, h_k(x)), o_k = Env(a_k)

其中 h₁(x) = x 是提示，h_k(x) = (x, r₁, a₁, o₁, …, r_{k-1}, a_{k-1}, o_{k-1}) 是历史。我们使用一个作为评判器的LLM来量化生成轨迹 h(x) 的有害程度，该评判器确定工具执行序列是否成功实现了对抗性目标。

通过MAP-Elites进行自动红队测试。
为了全面探索目标智能体 p_θ 的攻击提示景观，我们采用了一种进化方法，即多维度表型精英档案。该方法在选定的变异维度上维护一个整体图，展示多样化、高性能的解决方案。在我们的框架中，我们定义了一个二维档案 𝒜，涵盖风险类别和攻击风格，分别源自 Zhang等人和 Wei 等人的工作。形式上，档案定义为：

𝒜 = { (x_{c,s}, h(x_{c,s})) | c ∈ 𝒞, s ∈ 𝒮 }，

其中每个单元格 (c, s) 存储迄今为止找到的最佳表现攻击提示 x_{c,s} 及其相应的执行轨迹 h(x_{c,s})。

4 T-MAP

为了更好地暴露目标智能体 p_θ 在多步工具执行过程中的漏洞，我们提出了一种轨迹感知的MAP-Elites算法。T-MAP迭代地生成新的攻击提示，这些提示由执行轨迹提供信息，逐步更新其档案以保留每种风险-风格配置下最有效的攻击。

初始化。
T-MAP通过为每个单元格 (c, s) 合成种子攻击提示 x_{c,s} 来填充档案 𝒜，合成过程结合了风险类别、攻击风格和工具架构。在目标智能体 p_θ 上执行这些提示会产生初始轨迹 h(x_{c,s})，然后由评判器LLM评估为离散的成功等级。为了推动进化，T-MAP选择一对父目标单元格。父单元格是从包含高成功率精英的单元格中选择的，以促进有效策略的复用，而目标单元格则从 𝒞 × 𝒮 中均匀采样，以鼓励广泛探索。

轨迹引导的变异。
给定选定的这对单元格，变异器LLM为目标单元格生成一个新的候选提示 x'。传统的红队测试方法通常仅基于目标模型的文本响应来优化提示。然而，这种方法对于智能体系统是不充分的，因为它缺乏来自实际工具执行的反馈。一个攻击提示可能成功引发表面上看似有害的文本响应，但当智能体尝试执行所需工具时却完全失败或遇到错误。由于我们的目标是发现能够引发导致有害结果的可执行工具执行轨迹的提示，T-MAP明确纳入了环境反馈，以避免这些以智能体为中心的失败模式。这种轨迹引导的变异由两种互补机制驱动：

• 交叉诊断（提示级）：分析器LLM将原始执行轨迹转化为对提示细化的可操作见解。通过从父轨迹 h(x_{c_p,s_p}) 中提取成功因素，并从目标轨迹 h(x_{c_t,s_t}) 中识别失败原因，分析器LLM使变异过程能够继承有效的对抗性框架，同时修改导致失败的元素。

• 工具调用图（行动级）：除了单个轨迹，变异器LLM还利用工具调用图，定义为一个有向图 𝒢 = (𝒱, ℰ, ℱ_𝒢)。这里，𝒱 = 𝒯 ∪ {END} 是工具集，ℰ ⊆ 𝒱 × 𝒱 是表示顺序工具调用的有向边集，ℱ_𝒢: ℰ → ℳ 是将每条边映射到元数据空间 ℳ 的函数。具体来说，对于每条有向边 (t_i, t_j) ∈ ℰ，表示从执行工具 t_i 到执行 t_j 的转换，关联的元数据 m_{ij} ∈ ℳ 被定义为元组 (n_s, n_f, R_s, R_f)。这里，n_s 和 n_f 统计该转换的成功和失败次数，R_s 和 R_f 记录这些结果的原因。通过利用此信息，变异器LLM可以查询特定行动序列的经验成功率，并绕过具有高失败记录的转换。

使用这些轨迹派生的信号，变异器LLM为目标单元格 (c_t, s_t) 生成一个新的候选提示 x'，该提示不仅能绕过安全护栏，还能导致真实的有害行动。

评估与更新。
T-MAP通过在目标智能体 p_θ 上执行变异提示 x' 并收集轨迹 h(x') 来评估它。如果 x' 实现了比前一代更高的攻击成功等级，它就成为新的精英。当成功等级相同时，评判器LLM比较 h(x') 与前一代的轨迹，选择能够朝着预期伤害迈出关键步骤的提示。更新档案后，TCG分析器LLM从轨迹 h(x') 中提取工具调用之间的所有转换，并将它们的成功或失败结果记录到TCG 𝒢 中，从而优化用于指导后续变异的轨迹级统计数据。

5 实验

5.1 实验设置

环境。
我们针对与MCP集成的LLM智能体，MCP是工具调用LLM的标准协议。我们选择了五个广泛使用的MCP服务器：CodeExecutor、Slack、Gmail、Playwright、Filesystem。这些环境能够执行诸如执行恶意软件、发送钓鱼消息和电子邮件、污染资源等有害行动。

基线。
我们将T-MAP与四个竞争性基线进行比较：

• 零样本：仅使用风险类别、攻击风格和工具定义为每个单元格 (c, s) ∈ 𝒞 × 𝒮 生成一个攻击提示 x，无需迭代生成。

• 多轮试验：在每次迭代中为采样的目标单元格重复零样本过程，生成独立的提示，没有任何工具轨迹信息。

• 迭代优化：在每次迭代中采样目标单元格，并基于其自身的轨迹 h(x_t) 和由评判器LLM提供的失败分析来优化 x_t，类似于Zhou等人使用的迭代优化过程，该过程利用执行轨迹作为反馈来优化攻击提示。

• 标准进化：从精英单元格中采样父提示 x_p，并将其变异以适应目标单元格 (c_t, s_t)，没有轨迹分析，遵循Samvelyan等人。

指标。
与仅通过模型响应中存在有害内容来确定攻击成功的传统红队测试不同，评估工具调用智能体需要评估有害行动是否实际执行或实现。为此，我们将每个轨迹 h(x) 分为四个离散的攻击成功等级：

• L₀（拒绝）：智能体拒绝请求，因此不产生任何工具调用。我们将 L₀ 轨迹的比例记为拒绝率。

• L₁（错误）：发出工具调用但因参数无效、权限错误或执行异常而引发错误。

• L₂（弱成功）：发出工具调用，但有害意图仅部分完成。

• L₃（实现）：通过完整的工具执行完全实现有害意图。我们将 L₃ 轨迹的比例记为攻击实现率。

更高的等级表示更高的攻击实现程度，即智能体不仅绕过了安全护栏，还成功地将恶意意图转化为具体行动。

实现细节。
为实现T-MAP，我们因其强大的推理能力而采用DeepSeek-V3.2作为变异器LLM、分析器LLM和评判器LLM。对于目标LLM智能体的主干模型，我们在主要实验中使用GPT-5-mini。为确保公平评估，每种方法进行100次迭代，每次迭代并行生成三个提示，每个环境总共产生300个攻击提示。遵循MAP-Elites协议，每次生成都专门针对探索我们8×8档案中64种不同配置中的一种，并使用来自每个单元格的最佳表现精英提示来评估最终攻击成功等级和多样性。

5.2 主要结果

T-MAP的优越性。

图3：攻击成功率分布在五个不同的MCP环境中。
如图3和表1所示，T-MAP在所有MCP服务器环境中始终优于所有基线，在所有五个环境中达到最高的ARR，平均ARR为57.8%。仅依赖自身先前轨迹或单个单元格内反馈的基线未能取得显著攻击成功。尽管利用了执行反馈进行自我优化，但迭代优化仅在各个环境中达到较低的ARR值，同时保持了较高的RR，表明隔离在单个单元格经验中的优化不足以绕过强大的安全护栏。尽管标准进化通过从精英父单元格中提取有用的提示结构而比其他基线表现更好，但仍未达到T-MAP的性能。这种差距源于标准进化仅变异父提示而缺乏深度执行分析，而T-MAP利用轨迹感知诊断和TCG引导来提取和传递来自过去成功的战略洞见。因此，T-MAP不仅更有效地降低了拒绝率，还在所有五个环境中将更大比例的非拒绝轨迹转化为实现攻击。

跨代进化。
T-MAP收敛速度更快，并在整个进化过程中实现了比所有基线更高的攻击成功率。

图4：ARR和RR在迭代次数上的平均值（平均值）5MCP 环境，且95%置信区间已涂有阴影）

图4显示，T-MAP在所有环境中快速降低RR，同时增加ARR。标准进化也降低了RR，证实了进化搜索在绕过提示级护栏方面的有效性。然而，标准进化未能将提示转化为实现攻击，而是停滞在较低的攻击等级。T-MAP的轨迹感知组件使其能够在此之后持续改进，最终实现实现攻击。

图5：档案覆盖热力图在5个MCP环境中合并。每个图显示平均成功率（L0到L3） 表示单元(c,s)∈𝒞×𝒮.各环境结果

档案覆盖。
采用MAP-Elites框架的一个主要动机是其显式维护档案的能力，允许我们系统地映射跨多样化风险类别和攻击风格的漏洞景观。为评估每种方法探索该空间的程度，图5展示了跨档案的平均攻击成功等级。

像MT和IR这样的基线由于无法利用不同单元格间的信息，倾向于将其成功的攻击集中在高度特定的局部区域。虽然标准进化通过利用父精英信息实现了更广泛的覆盖，但其档案主要由部分完成或弱成功主导。相比之下，T-MAP独特地用广泛分布的实现攻击填充了档案。这表明交叉诊断机制成功地从精英中提取了底层攻击策略，并将其有效地转移到结构不同的风险-风格组合中。

多样性分析。
虽然T-MAP展示了跨风险类别和攻击风格的最广泛覆盖，但档案覆盖并非多样性的明确度量。攻击者可能通过对完全相同的工具执行轨迹简单地应用不同的攻击风格来覆盖大部分档案，从而导致表面上的变化。为确保T-MAP发现多方面且非冗余的攻击，我们沿着三个独立轴全面分析了多样性：行动、词汇和语义。

为了量化行动多样性，让 a(x) 表示从执行轨迹 h(x) 中提取的工具调用序列，并让 𝒳 为所有被评估提示的集合。我们首先定义 ℋ_{L₃} 为成功实现攻击的唯一工具调用序列的集合：

ℋ_{L₃} = { a(x) | x ∈ 𝒳, 评判器LLM(h(x)) = L₃ }。

行动多样性则正式测量为该集合的基数 |ℋ_{L₃}|，代表不同成功轨迹的总数。文本多样性通过最终档案 𝒜 中保留的64个精英提示来衡量。词汇重叠使用Self-BLEU测量，而语义多样性则使用Qwen3-Embedding-8B嵌入上的成对余弦相似度进行评估。

如图5所示，T-MAP在所有多样性指标上均优于所有基线。它发现了最多的不同工具调用序列并实现了最高的攻击实现率，同时保持了最低的Self-BLEU和余弦相似度分数。相比之下，虽然标准进化在基线中实现了最强的实现率，但它表现出明显更高的Self-BLEU和余弦相似度。这表明直接将父提示变异为目标单元格会强制在措辞和语义意图上趋同。通过引导变异使用交叉诊断而非刚性目标驱动的优化，T-MAP在仍然发现高度有效的工具执行路径的同时，保留了更广泛的攻击策略分布。

评判器模型的可靠性。
表3：DeepSeek-V3.2与其他评判器在攻击成功等级上的相关性。

为验证我们评判器模型的可靠性，我们测量了DeepSeek-V3.2与其他评判器（包括人类标注者）之间的Spearman和Pearson相关性。具体来说，我们整理了一组由T-MAP在MCP环境中生成的96个攻击提示和轨迹，按成功等级均匀采样。然后由多个模型评判器和人类标注者对这些样本进行评估，以评估其一致性。表3中的结果显示出一致的高相关性，表明我们的评判器模型可以有效地作为人类对攻击成功等级共识的代理。

5.3 目标模型泛化

跨目标模型的性能。
为评估T-MAP的泛化能力，我们在CodeExecutor MCP环境中检查了其在各种前沿模型上的性能，并评估了发现实现的攻击的跨模型可迁移性。遵循主要实验协议，我们对每个目标模型进行100次迭代，每次迭代并行生成三个攻击提示，每个目标模型总共产生300个候选提示。

如图6所示，T-MAP在所有评估的目标模型上始终达到最高的ARR，大幅优于ZS和SE。虽然整体有效，但攻击成功等级的分布在模型家族间差异显著。Claude模型（如Opus 4.6和Sonnet 4.6）在T-MAP下保持了相对较高的RR，表明其具有更强的安全鲁棒性。相比之下，Gemini-3-Flash、Kimi-K2.5和GLM-5表现出显著更高的ARR，表明它们更容易受到T-MAP发现的攻击的影响。这些发现证实了T-MAP能够有效地跨不同前沿模型泛化。

跨模型可迁移性。
为了评估与模型无关的有效性，我们使用pass@5指标评估了在GPT-5.2上发现的实现攻击的可迁移性，其中成功定义为五次独立运行中至少有一次达到L₃。

如图7所示，T-MAP始终比标准进化基线实现更高的可迁移性，成功地在大多数目标模型中引发了有害轨迹。虽然在相同模型家族内成功率最高，但发现的攻击在不同架构中保持了有效性，表明T-MAP发现了具有广泛跨模型适用性的对抗性轨迹。

5.4 消融研究

表4：T-MAP的消融结果，平均跨所有五个MCP环境。

为了评估T-MAP中每个主要组件的个体贡献，我们进行了如表4总结的消融研究。移除TCG显著降低了成功攻击的比例，同时急剧增加了错误案例的比例。这种模式表明TCG对于引导搜索走向能够达到更高攻击成功等级的有效工具轨迹，而不是停留在部分结果或执行失败，至关重要。相反，移除交叉诊断导致RR增加，突显了其在生成能够绕过模型护栏的变异中的关键作用。

除了越狱有效性，这两个组件对于最大化行动多样性都至关重要。T-MAP实现了最高的行动多样性23.88，在没有TCG的情况下降至21.38，在没有交叉诊断的情况下降至21.13。

综上所述，这些结果表明这两个组件扮演着互补的角色。TCG主要有助于在行动空间中导航以实现高级成功，而交叉诊断增强了规避安全机制的能力。这两种机制协同作用，扩大了实现为成功攻击的独特轨迹总数。

5.5 泛化到多MCP链

在实际部署中，LLM智能体可以同时与多个MCP服务器集成，每个服务器覆盖不同的操作域，如通信、代码执行、网页浏览和资源管理。这拓宽了攻击面，因为攻击者可以跨MCP服务器链接工具调用，以实现超出任何单个服务器能力的恶意目标。为了评估T-MAP在此类复杂的多服务器设置中是否仍然有效，我们设计了多MCP链实验，要求目标智能体生成跨多个MCP环境执行的工具调用序列。

配置。
我们构建了三个复杂度递增的配置。第一个结合了Slack和CodeExecutor，使通过消息获得的信息能够被利用于恶意代码执行。第二个结合了Playwright和Filesystem，允许将从网络收集的内容用于未经授权的文件操作。第三个结合了Gmail、CodeExecutor和Filesystem，跨越三个领域，并允许更长的攻击轨迹，如从电子邮件收集目标列表、通过代码执行生成恶意脚本，并将其部署到文件系统。在每个配置中，一个MCP服务器的输出可以作为下一个的输入，要求目标智能体生成一个连贯的跨多域工具序列。所有配置使用与第5.1节相同的目标模型。

结果。

如图8所示，T-MAP在所有三个配置中始终实现最高的ARR，同时保持最低的RR。值得注意的是，与单服务器实验相比，大多数方法表现出更高的RR和更低的ARR，证实了多服务器工具链构成了一个根本更难的挑战。表5从轨迹角度突出了这一点。在跨三个配置发现的所有独特工具轨迹中，只有14-23%的基线轨迹涉及跨多个MCP服务器的工具调用，而T-MAP达到了46.28%。这归因于T-MAP的轨迹感知组件，特别是TCG，它聚合了跨MCP环境的工具转换统计数据，以识别可行的跨服务器工具序列。

6 结论

我们提出了T-MAP，一个用于对LLM智能体进行红队测试的轨迹感知MAP-Elites框架。T-MAP利用交叉诊断在进化过程中从执行轨迹中提取成功和失败信号，并维护一个工具调用图来战略性引导变异，生成能引发可执行且有效工具序列的攻击提示。我们在五个MCP环境上的评估证实，T-MAP始终比基线发现更广泛、更多样化的攻击。这些结果表明，轨迹感知进化对于揭示自主智能体中的隐藏漏洞至关重要，是朝着在实用智能体应用中安全可靠地部署它们迈出的关键一步。