智能应用安全的经验沉淀
让维护成本参与决策
韩朔处理安全分析里的“智能应用安全的经验沉淀”时，通常不会先讨论工具多不多，而是先把任务压到一个具体场景：谁在什么条件下发起操作，系统需要留下什么结果，哪一步出错必须停止。只要这个场景还说不清，后面的架构图和参数表就很容易变成装饰。短期能跑的方案未必适合长期维护。除了实现时间，也要比较排障入口、依赖数量、配置复杂度和新成员能否理解。选择并非追求最炫的技术，而是选择团队能持续维护、出问题能找到人的那一条。
最后用真实使用场景收尾：准备一次正常输入、一次边界输入和一次失败输入，检查结果、提示和记录是否一致。若这三类路径说不清，说明设计还没有真正收住。
可复制的项目复盘模板与决策记录不是一个脱离场景的检查项。在AI 应用安全：Agent 工具调用滥用、数据投毒与模型窃取防护里，先问两个问题：这次要保护或验证的对象是什么？出现异常后，谁能停止、回退或人工接管？提示词、检索内容和工具返回值都可能是不可信输入，因此范围必须写在第一行。
经验要先落成可审查的规则
任务卡可写成四项：目标、约束、可观察信号和停止条件。目标不要写成“提升安全性”，而要落到一项具体动作；约束则包括权限、环境和不处理的情况。对象可以从不可信文本、工具权限、模型输出和外部数据源开始梳理。
哪些失败样本值得进入回归集
- 回归集先收录造成误判、超时或权限绕过的最小样本，并注明触发条件、预期结果与样本来源级别。
- 对每个样本标注它覆盖的检测规则、运行环境和可接受的误差；规则变动后，才能判断失败来自实现还是测试假设过期。
- 新增样本前清点敏感字段与保存期限，必要时只保留结构化特征。回归集应帮助验证安全能力，而不是成为新的样本泄露面。
每做一步都要说明证据来自哪里。还要核对：模型是否被允许调用工具以及调用参数是否经过校验。结论若无法回到原始记录，就只能算待确认的假设。
交付时交付什么
交付结果应附上版本或配置快照、验证输入、观察结果和处置选择。针对本主题，策略决策、工具调用记录、拒绝原因与脱敏后的请求关联标识可以作为复核线索。没有通过的项应保留风险说明和后续动作，不要在交付时悄悄省略。
规则要记录失效条件
不应把模型生成的文字直接当作执行指令。把当前条件写清楚，读者才能判断做法能否迁移到自己的环境；条件改变后，再重新做一次核对即可。
经验库要允许被推翻
安全经验不是越积越多就越可靠。某条规则可能依赖旧的工具行为、旧的权限模型，或者只适用于某个业务流程。因此每条记录除了“怎么做”，还应写明它解决过什么问题、依赖哪些条件、何时需要重新验证。过期的建议可以归档，但不要继续以现行规则的身份出现在交付清单里。
把经验写给具体读者也很重要。开发人员需要知道参数为何会被拒绝，运营人员需要知道何时停止任务，审计人员需要知道证据在哪里。若所有内容都混成一段泛泛的安全说明，读者很难把它转成下一步动作。按角色拆开入口，维护成本反而更低。
