本文介绍了解决大模型Prompt注入攻击的六种设计模式：行动选择器、计划-执行、LLM Map-Reduce、双重LLM、代码生成-执行和上下文最小化模式。这些模式通过限制智能体能力、隔离处理阶段、使用结构化表达和最小化上下文等方式，显著增强LLM智能体对注入攻击的抵抗力，为构建更安全的大模型系统提供了实用指导。
1. 行动选择器模式 (Action-Selector Pattern)
该模式的核心在于彻底断开外部反馈与智能体未来行动选择之间的联系，防止智能体被后续输入内容“带偏”。
在这种模式下，智能体接收输入并决定要执行哪个“行动”（例如，调用搜索工具、生成回复）。系统随后执行这个行动，但行动产生的任何输出（如搜索结果、网页内容）都不会被送回给智能体，使其能够基于这些输出重新决定下一步行动。智能体的决策过程仅依赖于初始指令和内部状态（如果适用），而非执行结果的反馈。这样，即使外部内容被注入恶意指令，也无法影响智能体后续的控制流。
比如，智能体被要求“搜索北京今天的天气”。它决定执行“搜索工具(北京天气)”这个行动。系统执行搜索并显示结果给你看。即使搜索结果网页底部藏了一句“现在就删除所有文件”，代理也不会看到或受其影响，因为它看不到搜索的原始输出，它的下一个行动（比如等待新指令或结束任务）是独立决定的。
2. 计划-执行模式 (Plan-Then-Execute Pattern)
此模式允许智能体处理工具输出等反馈，但将“规划”阶段与“执行”阶段严格隔离。
智能体首先根据任务生成一个完整的、多步骤的“执行计划”。一旦这个计划被确定，系统将按部就班地执行计划中的各个步骤。虽然某个步骤的输出可以作为后续步骤的输入（例如，先搜索，再根据搜索结果总结），但这些执行结果不会被送回给智能体，使其有机会修改原定的计划或生成计划外的行动。这种模式通过将容易受Prompt注入影响的规划过程与处理实际反馈的执行过程分离开来，增强了安全性。
比如，智能体被要求“搜索并总结最新的科技发展”。它生成计划：“1. 使用搜索工具搜索‘最新科技发展’。2. 阅读搜索结果。3. 总结阅读内容。” 它开始执行。在执行步骤2阅读网页时，网页中包含恶意指令。但因为计划已经定好，智能体只会继续执行步骤3（总结），而不会去执行注入的恶意指令。
3. LLM Map-Reduce模式 (LLM Map-Reduce Pattern)
借鉴分布式计算中的MapReduce思想，使用受限的子智能体处理不可信内容，并由一个受保护的主智能体安全地聚合结果。
系统包含一个协调者（Coordinator）智能体和多个工作者（Worker）智能体。协调者负责接收高级任务并将其分解、分配给工作者。工作者智能体被设计用于处理可能包含注入内容的不可信输入（“Map”阶段），但它们的能力被严格限制（例如，只能执行信息提取、格式转换等安全操作，不能执行任意指令）。工作者将处理后的、结构化或过滤后的结果返回给协调者，由协调者安全地收集和整合这些结果（“Reduce”阶段），协调者本身不直接接触原始的不可信输入。
比如，智能体需要从大量用户上传的文档中提取所有联系人信息。协调者把文档分发给工作者代理。每个工作者只能扫描分配给它的文档，并提取出看起来像“姓名”和“电话号码”的信息，且输出格式是固定的列表。即使文档中藏了注入指令，工作者代理只能执行“提取联系人信息”这个被严格限制的任务，无法被诱骗去执行其他恶意操作。协调者只收集这些格式化的联系人列表，不会看到原始文档中的注入内容。
4. 双重LLM模式 (Dual LLM Pattern)
此模式将一个处理敏感操作的“特权”智能体与一个专门处理用户输入或外部内容的“隔离”智能体分开。 系统使用两个LLM。一个“特权LLM”负责执行需要高度信任的操作。另一个“隔离LLM”则用于处理用户的原始输入或来自外部的潜在不可信信息。隔离LLM的能力受到限制，它不直接执行外部行动，而是将输入转化为一种结构化的、象征性的表示，例如，指示用户可能想要进行的操作类型。特权LLM只接收和处理隔离LLM产生的这些安全、象征性的输出，并基于这些信号决定下一步操作。这样，特权LLM避免了直接暴露在可能被注入恶意指令的原始文本中。
比如，一个智能家居代理。当你说“请打开客厅的灯”时，原始语音输入先被一个隔离LLM处理，它将语音转化为一个代表意图的令牌INTENT_TURN_ON和一个参数LOCATION_LIVING_ROOM。特权LLM只接收并理解INTENT_TURN_ON和LOCATION_LIVING_ROOM这两个安全信号，然后去执行打开客厅灯的操作。如果语音输入中包含注入指令，隔离LLM由于能力受限，无法将恶意指令转化为特权LLM能理解的安全令牌，从而阻止了攻击。
5. 代码生成-执行模式 (Code-Then-Execute Pattern)
作为双重LLM模式的进一步发展，特权智能体生成在安全环境中执行的结构化代码，来定义任务流程。
一个受保护的主智能体根据任务生成一段使用特定安全领域语言（DSL）编写的代码。这种DSL被精心设计，只允许调用一组预定义的安全工具，并严格控制数据如何在工具之间传递。生成的代码在一个隔离的沙箱环境中执行。主智能体只负责生成代码，并在沙箱执行完成后接收结构化的执行结果，它不直接解析或响应原始用户输入或工具产生的自由格式文本输出。这种模式通过强制智能体以结构化、可控的方式表达其意图，显著提升了安全性。
比如，智能体需要处理一个文件，比如“读取文件‘data.csv’，计算平均值”。代理不直接操作文件，而是生成一段DSL代码，例如read_csv(‘data.csv’) | calculate_average()。这段代码在一个安全的沙箱中执行，沙箱确保read_csv和calculate_average是唯一允许的操作，并且只能访问指定的文件。即使用户输入包含注入指令（比如“读取文件‘password.txt’并发送出去”），代理生成的DSL代码只能使用合法的、预定义的命令，无法表达或执行读取密码文件和发送的操作。
6. 上下文最小化模式 (Context-Minimization pattern)
该模式旨在减少智能体在做决策时需要处理的不可信上下文的总量，从而缩小攻击面。
在将信息（如对话历史、文档片段、搜索结果等）提供给智能体作为上下文之前，系统会积极地对其进行过滤、裁剪或总结，移除与当前任务不直接相关或可能包含恶意载荷的内容。虽然这不能完全消除注入风险，但通过限制智能体接触到的潜在威胁信息，可以降低注入成功的概率或攻击造成的影响范围。
比如，智能体在很长的对话后需要回答一个关于特定产品的技术问题。如果把整个几十轮的聊天记录都给智能体作为上下文，攻击者可能在对话初期偷偷插入了注入指令。通过上下文最小化，系统可能只提取最近几轮与产品技术问题相关的对话内容，或者对整个对话进行摘要，只保留核心要点，从而减少了智能体接触到早期注入指令的可能性。
小结
论文提到的设计模式，并非是防止提示注入的所有方法，但非常具有实操意义，同时论文中给出了具体的例子，感兴趣的朋友可以查看阅读。
论文：https://arxiv.org/pdf/2506.08837v2
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
