文章介绍了LLM Agent的概念、组成和挑战。LLM Agent是能通过顺序推理解决复杂问题的高级AI系统，主要由Agent/brain（核心LLM）、Memory（短期和长期记忆）、Planning（任务分解与反思）和Tool use（外部工具集成）四部分组成。文章还介绍了多个LLM Agent框架及其实际应用，同时指出其在上下文限制、长期规划、输出一致性等方面面临的挑战。
LLM Agent 概述
当您遇到没有简单答案的问题时，您通常需要遵循几个步骤，仔细思考并记住您已经尝试过的内容。LLM代理正是为语言模型应用程序中的这些情况而设计的。它们结合了全面的数据分析、战略规划、数据检索以及从过去的行动中学习以解决复杂问题的能力。
在本文中，我们将探讨什么是LLM代理、它们的好处、能力、实际示例以及他们面临的挑战。
什么是LLM Agent？
LLM Agent 是高级 AI 系统，旨在创建需要顺序推理的复杂文本。他们可以提前思考，记住过去的对话，并使用不同的工具根据所需的情况和风格调整他们的回答。
现在，考虑一个详细的场景：
根据新的数据隐私法，公司面临的常见法律挑战是什么，法院如何解决这些问题？
这个问题比仅仅查找事实更深入。这是关于了解新规则，它们如何影响不同的公司，并了解法院对这一切的看法。一个简单的 RAG 系统可以提取相关的法律和案例，但它缺乏将这些法律与实际业务情况联系起来或深入分析法院判决的能力。
在这种情况下，当项目需要顺序推理、计划和记忆时，LLM Agent 就会发挥作用。
对于这个问题，Agent 可以将其任务分解为多个子任务，如下所示。
- • 第一个子任务可能是访问法律数据库以检索最新的法律法规。
- • 其次，它可以建立以前处理类似问题的历史基线。
- • 另一个子任务可以是总结法律文档并根据观察到的模式预测未来趋势。
要完成这些子任务，Agent 需要一个结构化的计划LLM、一个可靠的内存来跟踪进度，以及访问必要的工具。这些组件构成了LLM Agent 工作流程的支柱。
LLM Agent组件
LLM代理通常由四个部分组成：
- • Agent/brain: 代理/大脑
- • Planning: 规划
- • Memory: 记忆
- • Tool use: 工具使用
Agent/brain 代理/大脑
LLM Agent 的核心是大语言模型，它根据经过训练的大量数据来处理和理解语言。
使用LLM Agent 时，首先要为其提供特定 Prompt。这个 Prompt 至关重要——它指导 LLM 如何响应、使用什么工具以及在交互过程中应该实现的目标。这就像在旅行前给导航员指路一样。
此外，您还可以使用特定角色自定义代理。这意味着为代理设置某些特征和专业知识，使其更适合特定任务或交互。这是关于调整代理以感觉适合情况的方式执行任务。比如历史专家、法律专家、经济专家等等。
从本质上讲，LLM Agent 的核心是将高级处理能力与可自定义功能相结合，以有效处理和适应各种任务和交互。
Memory 记忆
Agent 的LLM Memory 通过记录以前完成的工作来帮助他们处理复杂的LLM任务。内存有两种主要类型：
- • **短期记忆：**这就像 agent’s 的记事本，它可以在对话中快速写下重要细节。它跟踪正在进行的讨论，帮助模型对直接环境做出相关响应。然而，这种记忆是暂时的，一旦手头的任务完成，就会清除。
- • **长期记忆：**将其视为 agent’s 的日记，存储数周甚至数月过去互动的见解和信息。这不仅仅是关于保存数据;它是关于理解模式、从以前的任务中学习并调用这些信息以在未来的交互中做出更好的决策。
通过混合这两种类型的记忆，该模型可以跟上当前的对话，并利用丰富的交互历史记录。这意味着它可以提供更有针对性的响应，并随着时间的推移记住用户的偏好，使每次对话都感觉更加紧密和相关。从本质上讲，代理正在建立一种理解，这有助于它在每次互动中更好地为您服务。
Planning 规划
通过规划，LLM Agent 可以推理，将复杂的任务分解成更小、更易于管理的部分，并为每个部分制定具体的计划。随着任务的发展，代理还可以反思和调整他们的计划，确保他们与现实世界的情况保持相关性。这种适应性是成功完成任务的关键。
规划通常包括两个主要阶段：计划制定和计划反思。
计划制定阶段，Agent 将大型任务分解为较小的子任务，如下是几种拆分的方法：
- • 一些任务分解方法建议一次性创建一个详细的计划，然后逐步遵循它。
- • 思维链 （CoT） 方法，推荐了一种更具适应性的策略，让智能体逐个处理子任务，从而提供更大的灵活性。
- • 思路(ToT)树是另一种通过探索解决问题的不同途径来进一步发展 CoT 技术的方法。它将问题分为几个步骤，在每个步骤中产生多个想法，并像树上的树枝一样排列它们。
制定计划后，代理审查和评估其有效性非常重要。LLM基于智能体的智能体使用内部反馈机制，利用现有模型来改进其策略。他们还与人类互动，根据人类的反馈和偏好调整他们的计划。代理还可以从他们的真实和虚拟环境中收集见解，使用结果和观察来进一步完善他们的计划。
在规划中纳入反馈的两种有效方法是 ReAct[1] 和 Reflexion[2]。
Tools use 工具使用
这里的工具是帮助LLM Agent 与外部环境连接以执行某些任务的各种资源。这些任务可能包括从数据库中提取信息、查询、编码以及代理运行所需的任何其他内容。LLM当代理使用这些工具时，它会遵循特定的工作流程来执行任务、收集观察结果或收集完成子任务和满足用户请求所需的信息。
以下是不同系统如何集成这些工具的一些示例：
- • MRKL[3]（模块化推理、知识和语言）：该系统使用一系列专家模块，从神经网络到计算器或天气 API 等简单工具。main LLM 充当 router，根据任务将查询定向到相应的 expert 模块。
- • Toolformer[4] 和 TALM（工具增强语言模型）：[5]这些模型经过专门微调，可以有效地与外部 API 交互。例如，该模型可以经过训练，使用金融 API 来分析股票市场趋势或预测货币波动，从而直接向用户提供实时金融洞察。
- • HuggingGPT：[6]该框架使用 ChatGPT 来管理任务，方法是选择 HuggingFace 平台上可用的最佳模型来处理特定请求，然后总结结果。
- • API-Bank[7]：一项基准测试，用于测试LLMs使用 53 个常用 API 处理日程安排、健康数据管理或智能家居控制等任务的能力。
LLM代理框架
让我们看一下一些值得注意LLM的代理[8]和框架：
- • Langchain[9] - 用于开发 LLM-powered 应用程序的框架，可简化LLM应用程序生命周期。
- • Llama Index[10]：一个数据框架，通过数据连接器和结构、高级检索交互和集成功能简化LLM应用程序的创建。
- • Haystack[11] - 一个端到端的 NLP 框架，使您能够构建 NLP 应用程序。
- • Embedchain[12] - 为您的数据集创建类似 ChatGPT 的机器人的框架。
- • MindSearch[13]：一种新的 AI 搜索引擎框架，其工作方式类似于 Perplexity.ai Pro[14]。您可以使用 GPT 和 Claude 等专有LLMs模型或 InternLM2.5-7b-chat[15] 等开源模型将其设置为您自己的搜索引擎。它旨在浏览数百个网页来回答任何问题，提供详细的回答并展示它如何找到这些答案。
- • AgentQ[16]：帮助创建可以规划、适应和自我纠正的自主 Web 代理。它使用直接偏好优化 （DPO）[17] 算法集成了引导式 Monte Carlo 树搜索 （MCTS）、AI 自我批评和 RLHF[18]。
- • Nvidia NIM 代理蓝图[19]：适用于需要构建和部署自定义 GenAI 应用程序的企业开发人员的代理。
- • Bee 代理框架[20]：IBM 的一个开源框架，用于大规模构建、部署和服务大型代理工作流。IBM 对 Bee 的目标是使开发人员能够采用最新的开源和专有模型，同时对当前代理实现进行最少的更改。
LLM代理挑战
虽然LLM代理非常有用，但它们确实面临着我们需要考虑的几个挑战：
- •有限的上下文：LLM代理一次只能跟踪有限数量的信息。这意味着他们可能不记得谈话中早些时候的重要细节或错过了关键指示。尽管 vector stores(向量数据库) 等技术通过提供对更多信息的访问来提供帮助，但它们无法完全解决这个问题。
- •长期规划的困难：LLM代理人很难制定跨长期的计划。当意外问题出现时，他们往往难以适应，与人类解决问题的方式相比，这可能会使他们不那么灵活。
- •不一致的输出：由于LLM代理依靠自然语言与其他工具和数据库交互，因此它们有时会产生不可靠的输出。他们可能会犯格式错误或未正确遵循说明，这可能会导致他们执行的任务出错。
- •适应特定角色：LLM代理需要能够根据手头的任务处理不同的角色。然而，对他们进行微调以理解和执行不常见的角色或与不同的人类价值观保持一致是一项复杂的挑战。最新的 MOE 模型可能就比较好解决这个问题。
- •Prompt依赖性：LLM agent根据提示词进行操作，但这些提示需要非常精确。即使是很小的更改也可能导致大错误，因此创建和优化这些提示可能是一个微妙的过程。这就会出现失之毫厘谬之千里的问题。
- •管理知识：保持LLM Agent的知识准确和公正是很棘手的。他们必须拥有正确的信息才能做出明智的决定，但太多不相关的信息会导致他们得出错误的结论或根据过时的事实采取行动。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
