本文深入浅出地介绍了大模型记忆系统的分层架构，包括工作记忆、短期记忆、长期记忆与外部记忆的职责划分。文章详细解析了上下文窗口、滑动窗口和摘要压缩技术，梳理了情景、语义、程序记忆的编码与混合存储方法。此外，还探讨了召回排序、冲突更新、索引与嵌入选型、压缩遗忘、隐私隔离及多 Agent 共享记忆等关键技术点，旨在帮助开发者全面理解和应用大模型记忆机制，提升 AI 应用开发能力。
一、职责与总体架构
LLM 是无状态函数，每次调用只依据当前输入生成结果，不具备跨调用、跨会话的内部状态。Agent 的记忆由外部系统负责管理，覆盖编码、存储、检索、压缩、更新和遗忘。
将全部历史放入上下文，会使 token 消耗和延迟随轮次增加，长输入还可能出现中段信息被忽略。仅对聊天记录切片并做向量检索，也无法处理记忆更新、冲突、权重和结构关系。因此，记忆系统应分层组织，并由不同层承担不同职责。
| 层次 | 内容 | 存储 | 生命周期 | 访问特点 |
|---|---|---|---|---|
| 工作记忆 | 任务、计划、步骤、变量、工具结果、注意力焦点 | 内存变量、结构化对象、scratchpad | 小；任务级，结束后清除 | 最快，直接参与推理 |
| 短期记忆 | 当前会话、最近对话、会话摘要 | 上下文窗口、消息列表、环形缓冲 | 有限；会话级 | 直接拼入上下文 |
| 长期记忆 | 偏好、事件、事实、经验、技能 | 向量库、关系库、知识图谱、对象存储 | 较大或近似无限；跨会话持久化 | 按需检索，延迟较高 |
| 外部记忆 | 文档、外部知识、API 结果 | 文档检索、API、混合 RAG | 由外部系统管理 | 扩展知识边界 |
Agent 记忆分层架构
通常先读取工作记忆，再读取短期上下文，最后按需检索长期记忆。工作记忆容量最小但速度最快；长期记忆容量最大，但需要索引、过滤和重排序。
二、短期记忆与会话压缩
短期记忆保存当前对话，具有容量受上下文窗口限制、生命周期短和信息密度高等特点。材料给出的上下文规模包括 2K、8K、32K 和 128K Token，分别适用于简单问答、一般对话、长对话和长文档分析。窗口越大，保留信息越多，但成本也越高。
1 滑动窗口
滑动窗口用队列保存最近 N 条消息或 N 轮对话，超过消息数或 token 上限时删除最早内容。部分架构最多保留 30 轮，也有实现保留最近 5～10 轮原文，具体取决于模型窗口、任务复杂度和 token 预算。
优点： 实现简单、访问快，适合实时对话和强一致场景。
问题： 早期事实可能被裁剪，长对话仍会增加 token 消耗。
适用边界： 适合短对话或只需最近上下文的场景，不适合跨会话记忆。
2 摘要压缩与分层上下文
窗口接近上限时，可将较早消息压缩为摘要，并与最近若干轮原文一起提供给模型。滚动摘要可每累计若干轮触发一次，例如每 5 轮处理早期消息；摘要可限制为 100 字或 200 字，并保留偏好、目标、事实、时间、地点、数字、共识和决策，删除寒暄、重复确认和一次性指令。
生产方案通常采用“近期原文 + 中期摘要 + 长期检索”。近期原文保留语气和细节，中期摘要保存会话脉络，跨会话事实则从长期记忆中按需召回。
可用 token = 模型最大上下文 - 系统提示 - 工具定义 - 输出预留 近期原文约占可用 token 的 40% 中期摘要约占 20% 长期记忆约占 20% 当前输入、指令等约占 20%另一种组装顺序是：系统角色与工具定义 → 长期记忆 → 中期摘要 → 近期原文 → 当前用户输入。不同材料对长期记忆优先级的表述有所差异，但共同边界是：不能无差别注入全部长期记忆，必须控制召回数量并做相关性过滤。
3 工作记忆协同
工作记忆不是完整历史，而是当前任务的结构化状态，通常包含：
任务目标、执行计划和当前步骤；
已完成步骤及其结果；
工具结果、临时变量和中间推理结果；
当前注意力焦点与任务相关上下文。
短期记忆维持对话连续性，工作记忆保存可执行状态。任务开始时，可将短期记忆中的偏好加载到工作记忆；执行结果和任务状态定期同步回短期上下文；任务结束后清空工作记忆，必要时再把稳定事实或经验写入长期记忆。
三、长期记忆的类型与存储
长期记忆用于跨会话保存经验和知识，不能简单等同于聊天记录。材料将其分为三类：
情景记忆（Episodic）： 具体事件，如用户在某日搬到某地或完成任务；通常带时间衰减，过期后可归档。
语义记忆（Semantic）： 从事件中提炼的稳定事实、身份信息和偏好，如用户是素食者、偏好简洁回答；通常需长期保留。
程序性记忆（Procedural）： Agent 技能、工具定义、提示词模板和执行流程，通常由开发者维护，不随单个用户短期变化。
情景记忆可作为语义记忆的原料。例如“用户上周去东京并喜欢一家寿司店”属于事件，“用户对日料有较高兴趣”则是更稳定的偏好。两者的检索时机和生命周期不同，不能使用同一套遗忘规则。
1 记忆编码
编码不应直接保存原始对话，而应提取自包含、可验证、可检索的事实陈述。核心步骤包括：
1消解指代和时间： 将“我明天去那里”改写为包含人物、地点和时间的完整陈述。
2分类： 标记 profile、preference、goal、event、relationship 等类型，或映射为情景、语义和程序记忆。
3评分： 设置重要度和置信度，用于写入门控、检索排序和遗忘决策。
4过滤： 忽略寒暄、一次性指令、Agent 自身回答、明显假设和临时状态。
5冲突检测： 新信息与已有记忆不一致时，标记冲突并进入更新或仲裁流程。
编码可在每轮对话后执行，也可每 3～5 轮批量执行，或在会话结束时统一处理。实时场景适合每轮编码，但成本更高；成本敏感场景可延迟到批处理。编码粒度通常是一条完整的用户表达，避免把 Agent 生成内容错误当作用户事实。
{ "id": "mem_001", "user_id": "u_123", "type": "semantic", "content": "用户对花生过敏，严重程度为中度。", "source": "conversation", "importance": 0.95, "confidence": 0.98, "created_at": "时间戳", "last_accessed_at": "时间戳", "access_count": 3, "embedding": "向量", "metadata": { "category": "health", "sensitivity": "high" } }2 混合持久化
单一介质难以同时满足语义检索、结构化过滤、关系推理和低延迟访问。组合方式包括：
向量库： pgvector、Milvus、Qdrant，用于语义相似度检索。
关系库： Postgres、SQLite，保存主记录、用户标识、类型、时间戳、重要度、置信度、版本和状态。
图数据库： Neo4j、NebulaGraph，保存实体关系，支持用户、同事、项目等多跳推理。
KV 或 Redis： 保存会话状态和短期数据，并用 TTL 管理生命周期。
对象存储： 保存冷数据、历史版本和归档内容。
推荐分工是：关系库存主记录，向量库存id + embedding，图数据库存实体关系，KV 存会话状态。写入时先写主库，再异步更新向量和图索引，以保证主记录完整；强一致场景可使用事务消息或双写补偿。
多租户查询必须强制带user_id过滤，向量库 payload 过滤和关系库条件缺一不可。健康、身份等敏感信息还需进行敏感性标记、脱敏、加密存储、RBAC 权限控制，并提供用户主动删除接口。
长期记忆混合存储
四、写入、召回与更新
Agent 的长期记忆应形成闭环，而不是单向写入：
1用户输入与当前短期上下文进入查询构造阶段。
2系统从工作记忆、短期记忆和长期存储中召回相关信息。
3将长期记忆、会话摘要、近期原文和当前输入组装为提示词。
4LLM 完成回答、推理或工具调用。
5从新交互中提取事实、偏好、事件、决策和经验，经重要度与置信度门控后写入长期记忆。
6对重复、冲突、过时或低价值条目执行合并、降权、归档或删除。
1 召回策略
长期记忆召回可采用以下方式：
语义检索： 适合语义表达不同但含义相近的查询。
关键词检索： 适合精确匹配、罕见实体和缩写。
时间过滤： 只关注最近 7 天或其他时间窗口的事件。
类型和元数据过滤： 按用户、类型、标签、来源、敏感级别或时间范围筛选。
混合检索： 合并稠密向量、稀疏关键词、结构化条件和图关系。
纯向量相似度可能把偶然提到的电影排在高价值健康事实之前，因此需要综合打分：
score = α × relevance + β × recency + γ × importance recency = exp(-λ × Δt)材料给出的初始权重示例为 α=0.6、β=0.2、γ=0.2。健康、身份类记忆可设置较弱或不衰减；事件类记忆可使用 0.01～0.05 的时间衰减系数。权重属于工程参数，应按场景调节。
召回后可使用 MMR（最大边际相关）减少重复：先选择与查询最相关的条目，再惩罚与已选条目过于相似的候选。系统通常先召回更多候选，再过滤低相关结果、重排序，最后向模型提供少量高价值条目，例如 3～5 条或 Top-10。
2 主动更新与冲突处理
新信息与旧记忆可能一致、补充或修正。更新前应先检索已有相关记忆，再判断是否修改：
一致： 增加访问记录或合并重复内容。
补充： 更新原条目或形成关联条目。
修正： 将旧条目标记为superseded，写入新版本。
无法判断： 保留冲突标记，避免直接覆盖。
冲突解决可采用时间优先、来源可信度加权、保留全部版本并标记矛盾，或触发 LLM 仲裁。来源可信度示例为：用户明确表达 1.0、推断信息 0.6、第三方信息 0.4。旧版本有利于审计和回溯，但不应以同等权重继续进入上下文。
记忆写入与更新闭环
五、索引与嵌入模型选型
记忆规模较大时，精确最近邻搜索需对全部 N 个向量计算距离，复杂度为 O(N·D)。当 N=10^9、D=1024 时，暴力搜索不可行，需要近似最近邻索引。
| 索引 | 机制 | 场景 | 取舍 |
|---|---|---|---|
| HNSW | 多层可导航小世界图 | 百万级、内存充足、高召回 | 查询快、召回高，但内存开销大 |
| IVF | K-means 聚类，只搜索 nprobe 个簇 | 亿级、内存受限 | 速度和内存较好，召回依赖 nlist/nprobe |
| PQ | 子空间独立量化 | 十亿级、极端内存约束 | 存储显著下降，但有召回损失 |
| IVF-PQ / HNSW+PQ | 聚类或图索引结合量化 | 大规模生产系统 | 兼顾速度、内存和召回，配置复杂 |
HNSW 的 M 控制节点最大出度，ef 控制搜索候选池。材料给出的生产建议是：百万级使用 HNSW（M=16、ef=200），千万级使用 IVF-HNSW，亿级以上使用 IVF-PQ（nlist=4×√N、nprobe=100～200）。参数取决于数据分布、硬件和召回目标。
PQ 示例中，1024 维 float32 向量使用 M=32 个子空间、每个子空间 8 bits 时，压缩率约为 32 倍。向量量化可能带来 5%～10% 的召回损失，因此更适合冷数据归档。
嵌入模型需综合考虑维度、上下文长度、多语言能力、指令微调、成本和延迟：
OpenAI text-embedding-3-large： 3072 维，多语言能力强，适合金融、医疗等准确性敏感场景；成本和延迟较高，且闭源不可控。
BGE-M3： 1024 维，开源、多语言，支持稀疏与稠密混合检索；长文档处理能力弱于 E5-mistral。
E5-mistral： 4096 维，MTEB 分数 66.3，支持 32K Token 长上下文；推理成本高，需要 GPU 加速。
GTE-large： 1024 维，速度快、中文优化较好；多语言能力较弱，不支持稀疏检索。
Score(q, d) = α × sim_dense(q, d) + (1 - α) × sim_sparse(q, d)材料给出的 α 通常为 0.7～0.8，BGE-M3 原生支持该模式。升级嵌入模型时必须保存embedding_model_version，否则新旧向量可能处于不同语义空间并导致检索失效。迁移方式包括批量重编码、维护多版本索引，或使用归一化与投影矩阵对齐。
六、压缩与信息保留
记忆压缩是在存储成本与信息保留之间进行率—失真权衡，不存在通用的“无损高压缩”。压缩应与遗忘配合：重要记忆优先压缩，无关记忆进入遗忘或归档流程。
1 四级压缩流水线
1选择性保留： 按相关性、时效性、重要度和访问频率评分，只保留 Top-K，原则上不改变内容。
2LLM 摘要： 将长对话或重复条目压缩为关键事实。提取式摘要的信息损失为 10%～15%，生成式摘要为 20%～30%，但连贯性更好；摘要压缩比约为 5×～20×。
3层次化抽象： 建立 L0 原始对话、L1 会话摘要、L2 主题聚合、L3 用户画像。保留周期示例为：原始 Token 24 小时、会话摘要 7 天、主题聚合 30 天、用户画像永久保留。
4向量量化与归档： 冷数据使用 PCA、均匀量化或 PQ。1024 维 float32 向量可压缩为 32 字节，存储降低 32 倍。
四级记忆压缩流水线
压缩评估指标包括：压缩比目标大于 10×，压缩后语义检索召回率相对原始结果大于 90%，并用 KL 散度观察分布变化。摘要、结构化抽取、向量量化和归档删除应分别评估，不能只看存储大小。
七、遗忘与保留
没有遗忘的系统会持续膨胀，带来存储成本、检索延迟、上下文污染和过时信息风险。遗忘不等于简单删除，而是根据价值执行降权、合并、归档、覆盖或删除。
常见策略包括：
时间衰减： 旧记忆按指数函数降低权重，适合事件和一般对话。
相关性遗忘： 长期不再与查询相关的记忆降低优先级。
访问频率衰减： 低频访问条目优先淘汰。
重要性阈值： 定期清理低重要度记忆。
容量限制： 按保留分数排序，使用 FIFO、LRU 或自定义淘汰。
TTL： 会话状态可设置 24 小时 TTL；情景记忆可设置 90 天归档期。
主动遗忘： 用户或 Agent 删除指定内容，并记录操作日志。
冲突覆盖： 新事实使旧事实失效时标记为superseded，不直接抹除历史。
memory_score = base_importance × exp(-λ × time_elapsed)R(t) = R0 × exp(-λt) × (1 + αf)^β × (1 + γi)^δ × (1 - σc)其中，R0 是初始记忆强度，λ 是时间衰减系数，f 是访问频率，i 是重要性，c 是冲突次数，其余为可调超参数。访问频率和重要性增强保留分数，冲突次数施加惩罚；分数低于阈值时进入淘汰或归档队列。
遗忘最好异步执行，避免阻塞主对话。系统应记录压缩、迁移、淘汰和主动删除日志，以支持调试、审计和隐私合规。重要身份、健康和明确偏好不应仅因时间变旧就直接删除；临时事件和低重要度闲聊则可更积极地降权和清理。
八、生产流程与工程边界
生产架构可分为六层：
1输入层： 接收文本、图像、音频和结构化数据，执行去噪、标准化与敏感信息检测。
2嵌入层： 调用 BGE-M3 或 text-embedding-3-large，进行批处理，并使用进程内 LRU 与 Redis 缓存；GPU 利用率目标超过 80%。
3索引层： 热数据使用内存 HNSW，温数据使用 SSD 上的 IVF，冷数据使用对象存储上的 IVF-PQ。
4检索层： 先做稠密检索得到 Top-100，再做稀疏关键词过滤，最后用 Cross-encoder 重排序到 Top-10。
5记忆管理层： 执行选择性保留、摘要、量化、归档、遗忘调度和版本控制；淘汰算法示例为每 10 分钟运行一次。
6上下文组装层： 按动态优先级合并系统提示、用户画像、近期对话和相关记忆，并预留 token 预算；检索结果占 20%、生成内容占 80% 是一个材料示例。
生产级记忆系统架构
最低可观测指标包括检索准确率、检索延迟、记忆利用率、压缩比、语义保留率、缓存命中率、写入量、淘汰量和各层存储数量。材料给出的目标包括检索准确率超过 90%、记忆利用率超过 70%、压缩比 10～20×；另有描述指出，记忆缓存可使检索延迟降低 10×，索引优化可使检索效率提升 50%。这些是目标或示例，实际效果需结合数据集和测试条件验证。
常见失效模式及处理如下：
| 问题 | 表现 | 排查与处理 |
|---|---|---|
| 检索不相关 | 返回记忆与问题无关 | 调整嵌入、过滤、阈值和重排序，限制召回量 |
| 检索遗漏 | 相关记忆未召回 | 扩展查询，结合当前输入、最近 3 轮对话、用户画像关键词和关键词检索 |
| 上下文污染 | 低价值条目干扰生成 | 按重要度、置信度、时间和类型过滤，用 MMR 去冗余 |
| 错误或过时记忆 | Agent 依据错误事实行动 | 使用时间戳、置信度、版本和主动验证；过时条目降权或淘汰 |
| 记忆冲突 | 同一实体存在矛盾信息 | 时间优先、来源可信度、版本覆盖、保留冲突或 LLM 仲裁 |
| 向量漂移 | 模型升级后检索失效 | 保存模型版本，批量重编码或维护多版本索引 |
| 跨租户泄露 | 召回其他用户数据 | 所有向量和关系查询强制带user_id过滤 |
| 延迟和成本过高 | 检索增加嵌入调用和生成 token | 使用缓存、预取、异步存储、Top-K 限制和分层索引 |
九、典型应用场景
编程 Agent：工作记忆维护代码库状态
编程 Agent 需要持续跟踪代码库、执行计划和中间结果，不必永久保存全部历史对话。
使用什么技术/方案： 工作记忆保存代码库状态、任务计划、已完成步骤和工具结果，并将任务相关对话同步到短期记忆。
解决什么问题： 避免多步编程任务丢失当前状态和中间结果。
达到什么效果： 材料称代码补全效率提升 40%。
客服 Agent：短期上下文维持当前会话
客服场景重视对话连续性和用户刚提供的约束，适合滑动窗口、摘要和必要的长期偏好召回。
使用什么技术/方案： 短期记忆保存当前对话，结合滑动窗口和摘要压缩管理上下文。
解决什么问题： 减少多轮对话中的重复询问和上下文丢失。
达到什么效果： 材料称一次性解决率提升 30%。
代价/限制： 受上下文窗口限制，早期消息可能被裁剪；跨会话事实仍需长期记忆支持。
个人助手：长期记忆保存用户偏好
个人助手需要跨会话记住偏好、习惯和稳定事实，重点是编码质量、重要度评分、隐私保护和主动删除。
使用什么技术/方案： 将偏好编码为结构化语义记忆，写入向量库、关系库或知识图谱，按需召回并拼入提示词。
解决什么问题： 解决跨会话无法记住偏好、约束和历史事实的问题。
达到什么效果： 材料称用户满意度提升 50%。
代价/限制： 存在存储成本、检索延迟、记忆污染和隐私风险，需要设置权重、版本、访问控制和遗忘接口。
数据分析 Agent：工作记忆保存中间结果
数据分析包含查询、分析和报告生成等连续步骤，工作记忆需保存目标、计划、已完成步骤和中间数据。
使用什么技术/方案： 使用结构化工作记忆保存分析计划、工具结果、活跃变量和中间结果，任务结束后清空临时状态。
解决什么问题： 避免重复查询和计算，并保持多步分析顺序。
达到什么效果： 材料称重复计算减少 60%。
十、多 Agent 共享记忆
多 Agent 系统可设置公共知识库、共享经验池和集体学习图谱，共享成功经验、失败经验、黑名单和关系信息。但共享记忆也带来一致性、隐私、扩展性和冲突解决问题。
| 一致性模型 | 协议或方式 | 保证与代价 | 适用场景 |
|---|---|---|---|
| 强一致性 | Raft、Paxos | 状态一致；延迟高，2～3 RTT | 金融、医疗 |
| 因果一致性 | Vector Clocks | 保留因果关系；延迟中等 | 协同编辑 |
| 会话一致性 | Sticky Routing | 同一用户视角一致；延迟低 | 客服 Agent |
| 最终一致性 | Gossip、CRDT | 暂时分歧可接受；收敛快或成本低 | 社交、内容场景 |
广播可快速推送更新但扩展性差；Gossip 容错性好但收敛慢；共识协议保证共享状态一致但延迟高；版本控制便于追踪记忆演进和回溯，但实现复杂。敏感数据进入共享空间前必须脱敏，并限制 Agent 的可见范围。
十一、综合设计原则
Agent 记忆系统的核心不是“保存更多”，而是让信息在正确时间以正确形式被使用：
用工作记忆维护任务状态，用短期记忆维持会话连续，用长期记忆提供跨会话事实和经验。
先编码再存储，使用自包含陈述、类型、重要度、置信度、来源、时间和版本减少污染。
长期记忆采用向量、关系和图结构组合，不能让单一向量库承担全部职责。
检索不能只看语义相似度，还应结合相关性、时效性、重要度、访问频率、类型过滤和 MMR 去冗余。
更新应区分重复、补充和冲突；过时信息优先降权或标记失效，重要历史版本可保留审计。
压缩重要记忆，遗忘低价值信息；摘要和量化都可能损失信息，必须用召回率、压缩比和利用率评估。
通过嵌入版本、用户隔离、访问控制、加密、敏感信息检测和主动删除接口处理安全与合规边界。
将写入、检索、压缩、迁移和遗忘设计为可观测的异步维护流程，避免记忆管理阻塞主推理链路。
最终闭环是：交互 → 编码 → 分层存储 → 多因子召回 → 上下文组装 → 推理与行动 → 更新、压缩和遗忘。只有链路完整，Agent 才能在有限上下文中维持当前任务，在跨会话中积累稳定经验，并降低记忆膨胀、污染和过时带来的决策风险。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
)