EpiSEM‑Bench：缺失证据条件下大模型智能体安全与证据恢复能力评测基准

EpiSEM‑Bench：缺失证据条件下大模型智能体安全与证据恢复能力评测基准

原文网页：https://arxiv.org/html/2610.31650v1
PDF链接：https://arxiv.org/pdf/2610.31650v1
arXiv编号：arXiv:2610.31650v1 [cs.AI]

摘要
工具调用大模型智能体依靠环境事实判断动作是否允许执行。当工具返回结果遗漏安全相关关键事实时，即便用户请求本身是良性的、工具返回的每一条陈述全部为真，智能体仍然可能执行被禁止的高危操作。本文提出EpiSEM‑Bench，一套可执行评测基准，用于评估大模型智能体在证据缺失场景下的不安全执行行为、安全边界以及证据恢复能力。
基准包含跨6大领域的300组配对任务（共600个仿真世界实例）。通过系统性屏蔽关键事实，评测智能体在关键证据缺失时的不安全执行行为，同时测定触发故障所需的最小证据缺失基数；配套独立审计工具，测试智能体是否会主动查找缺失证据，在完成合法任务的同时主动克制不执行被禁止操作。
评测结果显示，10款被测模型在证据缺失鲁棒性、证据获取、合理动作输出方面表现差异巨大。具备证据恢复访问能力可以降低全部模型的不安全执行率；但不同模型表现分化：部分模型不会主动获取缺失证据，也无法在两种仿真世界（安全/不安全）下做出适配的合理动作。单一综合分数会掩盖各类不同故障模式，需要组合多项指标联合解读评测结果。

关键词
大模型智能体；智能体安全；证据缺失；安全边界；证据恢复；可执行评测基准；工具调用智能体

目录

1. 引言
2. 相关工作
3. EpiSEM‑Bench基准设计](#3‑episem‑bench基准设计)
   • 3.1 环境与配对任务世界
   • 3.2 证据原子与证据屏蔽机制
   • 3.3 可选证据恢复工具
   • 3.4 安全、效用、证据恢复指标体系
4. 实验设置
5. 实验主要发现
6. 讨论与局限性
7. 结论