《提示词工程》只是入门？揭秘LLM背后的“上下文工程”：一场跨越20年的机器心智革命

近年来，随着大型语言模型（LLM）和智能体（Agents）的飞速发展，**上下文（Context）**对模型行为的影响日益凸显。研究表明，输入窗口中的内容能显著影响模型性能。面对多步骤推理和长周期任务日益增长的需求，一个核心问题浮出水面：机器如何通过有效的上下文机制，更好地理解我们的意图和情境？

为应对这一挑战，研究人员将焦点聚集到了上下文工程（Context Engineering）：这是一个系统化的过程，用于设计、组织和管理上下文信息，从而使机器的行为与人类意图保持一致。当前，上下文工程的实践已广泛应用于LLM和智能体中，包括提示词工程（Prompt Engineering）、检索增强生成（RAG）、工具调用（Tool Calling）和长时记忆机制等。

然而，一个常见的误解是：上下文工程是智能体时代的新生事物。实际上，上下文工程相关的实践可以追溯到20多年前。自20世纪90年代初以来，它经历了显著的历史阶段演变：从早期基于原始计算机的人机交互（HCI）框架，发展到今天由智能体驱动的人机智能体交互（HAI）范式，并有望在未来迈向人类级别甚至超人级别的智能。

本文旨在探讨上下文工程的历史背景，提供其系统性定义，概述其历史和概念图景，并审视其实践中的关键设计考量。

理论框架：从熵减到四阶段进化 🔄

🎯 上下文工程的本质：熵减过程

人类在交流时，依赖于听者主动降低信息熵的能力——即通过共享知识、情感线索和情景意识来推断缺失的上下文。但机器，至少在目前，缺乏这种“填补空白”的能力。因此，我们必须为机器“预处理”上下文，将原始的高熵信息压缩成它们能理解的低熵表示。

这便是上下文工程的核心“努力”：将高熵上下文和意图转化为低熵表示所需投入的精力。

上下文工程始终存在，其目的是弥合人类（碳基）智能与机器（硅基）智能之间的认知差距。随着机器智能的快速迭代，机器越智能，上下文工程就越自然，人机交互的成本也就越低。

🚀 四阶段进化模型：智能水平的飞跃

每一次机器智能的质变，都会引发一场人机界面的根本性变革。技术突破推动上下文同化能力的激增，进而带来界面革命，最终导致上下文工程范式的转变。基于这一模式，上下文工程的演变可概念化为四个不同的阶段：

【上下文工程1.0到4.0概览】

（表格信息来源于 的图示和 的描述）

历史演变：从HCI到LLM агенты

通过追溯历史演变，我们可以更深刻地理解上下文工程的原理。

1. Context Engineering 1.0：人适应机器（1990s-2020）📅

在1.0时代，人类负责提供上下文，原始计算机是信息的接收者。核心在于人适应机器：设计师充当“意图翻译者”，将复杂的人类意图转换成结构化、机器可读的格式。

关键特征：

• 技术背景： 普及计算（Ubiquitous Computing）和情境感知系统（Context-Aware Systems）。马克·维瑟（Mark Weiser）在1991年提出普及计算概念。
• 挑战： 机器只能执行预定义的程序逻辑，缺乏理解自然语言语义、推理或有效处理错误的能力。
• 核心实践： 上下文必须被明确准备和翻译成机器能直接处理的格式。早期创新是从传统的键盘鼠标输入转向分布式、以传感器为中心的范式。安印德·K·戴伊（Anind K. Dey）在2001年提出了上下文的奠基性定义，并提出了Context Toolkit等框架，通过Context Widgets、Interpreters等抽象概念来采集、解释和传递上下文。

1.0时代奠定了构建响应式系统的基础，但受限于表达能力和可扩展性。

2. Context Engineering 2.0：机器适应人类（2020–至今）🧠

从1.0到2.0的演变代表着机器智能的重大飞跃，从原始计算迈向智能体。

关键转变：

• 智能体中心智能： 随着GPT-3等LLM的出现，2.0时代以智能体中心智能为标志。机器表现出适度的智能，能够理解自然语言输入并推断某些隐含意图。
• 上下文容忍度提高： 1.0时代仅限于结构化信号（如GPS坐标、时间）。而2.0系统能够从接近自然人类表达的信号中解释上下文，例如自由形式的文本、图像或视频。这种转变反映了系统理解混乱、模糊和不完整数据的能力得到深化。
• 从情境感知到情境协作： 1.0系统通常遵循简单的条件-动作规则（例如：“如果在办公室，则静音电话”）。而2.0系统旨在主动解释用户正在做什么，并协作实现共同目标。例如，在撰写论文时，系统可以分析先前的段落和当前意图，建议合适的下一章节。

当前我们正处于2.0时代，并向3.0时代过渡。

核心设计考量：上下文工程的实践与挑战 🛠️

有效的上下文工程实践围绕三大核心维度展开：上下文采集与存储、上下文管理、以及上下文使用。

【上下文工程设计考量】

1. 上下文采集与存储 (Collection & Storage)

设计原则：

• 最小充分原则（Minimal Sufficiency Principle）： 系统应仅收集和存储支持任务所需的最小信息。上下文的价值在于充分性，而非数量。
• 语义连续性原则（Semantic Continuity Principle）： 上下文的目的是维持意义的连续性，而非仅仅是数据的连续性。

在2.0时代，上下文采集通过智能手机、可穿戴设备、家庭传感器等分布式端点进行。存储常采用分层架构，例如短期/频繁访问的数据存储在快速访问内存中，长期数据存储在本地嵌入式数据库（如SQLite, LevelDB）或云平台中，以实现跨设备同步和持久性。

实践案例： 像Claude Code这样的代码智能体，通过维护结构化笔记，定期将关键信息从上下文窗口写入外部存储器，并在需要时检索，从而超越了短期的、容量有限的上下文窗口限制。

2. 上下文管理 (Context Management)

上下文管理关注如何有效处理原始上下文，以便进行解释、压缩和检索。

A. 文本上下文处理策略

常见的文本处理设计包括：

• 标记时间戳： 简单，但缺乏语义结构，难以捕获长程依赖或高效检索。
• 按功能和语义属性标记： 显式地用“目标”、“决策”、“行动”等角色标签组织信息，支持更高效的检索和管理。
• 用QA对压缩： 将上下文重构为问答对，提高检索效率，但不适合需要全面理解上下文的任务。
• 用分层笔记压缩： 将信息组织成树状结构，反映信息的分组，但通常不捕捉因果关系或理解随时间演变的过程。

B. 多模态上下文处理

2.0系统的上下文日益多模态化（文本、图像、音频等）。核心挑战是如何将异构模态信息整合成一个连贯的统一表示。

• 映射到可比较的向量空间： 将不同模态的输入通过各自编码器和投影层，映射到一个共享的向量空间，使其语义可以被直接比较。
• 结合不同模态进行自注意力（Self-Attention）： 现代多模态LLM采用此方法。在统一的自注意力机制中，文本和视觉tokens在每一层相互关注，实现细粒度的跨模态对齐和推理。
• 通过交叉注意力（Cross-Attention）相互关注： 允许一种模态（如文本）直接关注另一种模态（如图像）的特定部分，实现有针对性的跨模态信息检索。

【上下文抽象的自烘焙设计】

3. 上下文使用 (Context Usage)

A. 系统内部上下文共享（多智能体）

现代LLM应用通常包含多个智能体协同工作。

• 嵌入先前上下文到提示词中： 将前一个智能体的输出信息直接包含在下一个智能体的输入提示词中，例如AutoGPT。
• 交换结构化消息： 智能体通过交换遵循预定义模式（如任务类型、输入、输出）的结构化消息进行通信，例如Letta和MemOS。
• 使用共享内存进行间接通信： 智能体读写一个共享的内存空间，可以组织成内存块或基于任务图/语义图的结构（如TME或G-Memory）。这种异步协作提高了清晰度和可解释性。

B. 上下文选择（Context Selection）

即使上下文窗口扩大，LLM仍然受到输入令牌质量的限制。无关或嘈杂的信息会干扰推理，增加推理成本。有效的上下文选择是“注意力之前的注意力”。

影响因素：

• 语义相关性： 选择与当前查询在意义上最相似的记忆条目，通常通过基于向量的检索（如RAG）实现。
• 逻辑依赖性： 任务直接依赖于先前步骤产生的信息，例如先前的计划决策或工具输出。系统需要遍历结构化的依赖图来检索相关上下文。
• 新近度与频率： 最近使用或经常访问的条目更可能再次被检索。系统会平衡这两个因素，偏爱新鲜且重要的上下文。

上下文工程的未来：迈向3.0和“语义操作系统” 🚀

迈向人级和超人级智能

随着上下文工程的演进，机器的智能水平不断提升：

• 3.0时代（人级智能）： AI系统将实现媲美人类感知的上下文感知能力，能够无缝收集触觉信息（如纹理、温度），并通过嗅觉和味觉解释环境，还能捕捉到声调、眼神交流、甚至沉默中的意图和情感。存储将转变为一个动态的认知基础设施，实现人类般的“遗忘”和“回忆”能力。
• 4.0时代（超人智能）： 智能系统将超越人类能力，拥有“上帝视角”。它们将主动为人类建构新的上下文，揭示人类尚未明确表达的潜在需求。例如，在围棋中，AI向专业棋手教授了新型的、超人的策略。

【上下文工程的演化过程】

🌌 挑战与未来方向：语义操作系统

实现终身上下文工程（Lifelong Context Engineering）面临四大挑战：

1. 存储瓶颈： 如何在严格的资源限制下，最大程度地保留相关上下文？需要支持高压缩、高精度检索和低延迟访问的存储架构。
2. 处理退化： 随着上下文增长，Transformer架构的二次复杂度导致推理延迟和GPU内存使用量急剧增加。推理质量也会恶化，模型难以在长输入中维持注意力。
3. 系统不稳定： 随着记忆的累积，即使是小的错误也可能广泛传播，导致长期任务中的行为不可预测。
4. 评估困难： 目前的基准测试大多只检验信息检索，难以评估信息是否仍然相关、准确或有帮助。系统缺乏自我纠错、追溯推理步骤的功能。

未来的方向指向构建一个能够随着时间推移而不断成长的“语义操作系统”。这样的系统需要支持大规模、高效的语义存储，具备人类般的记忆管理能力（主动增加、修改、遗忘知识）。此外，它需要新的架构来取代Transformer的扁平化时间建模，以实现更强大的长距离上下文推理能力。

👤 数字存在：上下文的永恒

哲学家卡尔·马克思曾写道：“人的本质是社会关系的总和”。在以上下文为中心的AI时代，这获得了新的计算意义。

个体越来越不是由他们的物理存在或意识活动定义的，而是由他们产生的数字上下文定义的：他们的对话、决策和交互痕迹。这些上下文可以持续存在、演变，甚至在人类离去后通过AI系统继续与世界互动。虽然人类的思想可能无法被上传，但人类的上下文可以——将上下文本身转化为知识、记忆和身份的持久形式。

总结：从翻译到自我理解 🌟

上下文工程并非LLM时代的发明，而是一个由机器智能渐进发展所塑造的长期演进学科。它的核心挑战在于弥合人类意图与机器理解之间的差距。

我们提出的发展轨迹表明，随着机器变得越来越智能，人类将逐渐从明确的上下文管理中解脱出来，机器将承担起解释、推理甚至构建上下文的更大责任。展望未来，随着机器理解能力接近并可能超越人类认知，最终达到对我们意图的“上帝视角”，AI系统不仅能理解我们，还能阐明并扩展我们对自身的理解。

论文地址：https://arxiv.org/pdf/2510.26493

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！