我们离AI有人类般的记忆还有多远？

北京通用人工智能研究院（BIGAI）院长、北京大学讲席教授朱松纯团队在TMLR期刊上发布了一篇重磅综述研究。

研究对AI的记忆进行了全面的梳理。

记忆不仅是过往经验的存档，更是智能体进行推理、规划与持续进化的核心驱动力。

这篇关于大模型记忆机制的深度调研，全面复盘了从Transformer内部参数的隐式记忆，到外挂检索的显式记忆，再到模拟人类认知的智能体记忆的完整技术演进路线。

隐式记忆构筑了数字大脑的皮层基底

人类大脑的运作依赖于复杂的协同机制，现代大语言模型（LLM）的记忆架构正在惊人地重现这一生物学奇迹。

我们可以将大模型视为一个数字大脑，其记忆系统正沿着人类大脑的进化路径徐徐展开。

心理学上的互补学习系统理论为我们提供了一个绝佳的观察视角，它将大脑分为负责缓慢学习与存储通用知识的新皮层，以及负责快速编码特定事件的海马体。

大模型的参数记忆完美对应了人类的新皮层。

隐式记忆深藏于预训练Transformer模型的万亿参数之中，构成了模型对世界的认知基石。

这种记忆并非以数据库的形式存在，而是将事实、常识、语言模式以及联想关系压缩在神经网络的权重里。

当我们向ChatGPT提问时，它并非在查阅字典，而是在调用这种内化于神经突触间的隐式知识。

这种知识的获取过程漫长且昂贵，恰如人类通过长年累月的学习固化下来的世界观。

研究人员发现，Transformer架构中的前馈网络（FFNs）在这一过程中扮演了关键角色。

前馈网络往往被视作键值（Key-Value）记忆对，每一个键对应着特定的文本模式，而每一个值则诱导输出词表上的分布。

这种机制使得大模型能够存储海量的事实性知识。

我们进一步剖析发现，不同的神经元分工明确。

有些神经元专门负责记忆特定的事实，被称为知识神经元。

有些神经元则像雷达一样探测隐私信息，甚至还有专门控制熵和词频的神经元。

这种分布式的存储方式极其高效，但也有其局限性。

一旦模型训练完成，这些记忆就如同被封印在琥珀中的昆虫，难以更改。

为了探究这些记忆的运作机理，研究人员利用因果追踪法，精确定位了存储特定知识的区域。

他们发现，中间层的多层感知机（MLP）往往充当了联想记忆的存储器，而注意力机制则负责将这些分散的信息聚合起来。

随着模型规模的扩大，记忆能力呈现出显著的缩放定律。

全量训练的Transformer每参数大约能存储2比特的知识，这一效率惊人地接近理论极限。

然而，这种静态的隐式记忆面临着巨大的挑战：世界是动态变化的，而重新训练大模型的成本高不可攀。

这就引出了记忆修改的需求。

增量训练试图在不破坏原有知识结构的前提下注入新知，通过添加适配器（Adapters）或低秩分解矩阵（LoRA）来外挂新记忆，避免了对原始参数的大动干戈。

更为精细的操作是记忆编辑，像ROME和MEMIT这样的技术，能够直接修改特定的神经元权重，实现对单一事实的精准更正，比如将美国总统的关联对象从旧名字改为新名字，而不影响模型的其他逻辑能力。

记忆遗忘则是另一个硬币的背面。

为了消除有害信息或过时知识，研究人员开发了针对性的遗忘算法。

这就像是给大脑做一场精密的手术，旨在切除特定的记忆肿瘤而保留健康的组织。

然而，这种操作风险极高，稍有不慎就可能破坏模型原本完善的知识网络，导致灾难性遗忘。

目前的隐式记忆研究正处于从理解走向控制的关键阶段，我们试图打开这个黑盒，像神经外科医生一样对模型的内部参数进行精准的修补与重组。

显式记忆重塑了外挂的海马体索引

为了弥补隐式记忆难以更新且易产生幻觉的缺陷，人工智能系统引入了类似于大脑海马体的机制，即显式记忆。

海马体在人脑中负责快速编码新的情景记忆，并作为索引将分散在大脑皮层的记忆片段重新组合。

在AI领域，这一角色由检索增强生成（RAG）及其衍生技术扮演。

显式记忆允许模型通过外部存储器动态地获取信息，无需重新训练即可掌握最新的事实。

这种机制将大模型从一个封闭的静态知识库，转变为一个开放的、可查询的动态系统。

显式记忆的表征形式多种多样，直接决定了检索的效率与质量。

最直观的形式是文本文档。

我们将海量的文本切分成块（Chunks），当用户提问时，系统通过稀疏检索（如BM25）或稠密向量检索（Dense Retrieval）找到最相关的片段，直接喂给大模型。

这种方式保留了最原始的语境信息，但对长文本的处理存在噪声干扰。

为了解决这个问题，句子级别的存储提供了更细的颗粒度，适用于事实核查等对精度要求极高的场景。

相比于纯文本，图（Graph）结构提供了一种更具逻辑性的记忆表征。

知识图谱将信息组织成节点和边的形式，清晰地刻画了实体间的关系。

这种结构化记忆对于复杂推理任务至关重要。

例如，通过遍历图中的路径，模型可以进行多跳推理，连接起表面上毫无关联的事实。

最近的HippoRAG模型更是结合了PageRank算法与大模型的图构建能力，极大地提升了多跳问答的准确率。

向量（Vector）则是目前最主流的显式记忆形式。

它将文本压缩为高维空间中的点，语义相似的内容在空间距离上更近。

向量检索具有极强的扩展性和灵活性，能够轻松处理数以亿计的数据，并支持图像、音频等多模态信息的统一编码。

显式记忆的真正威力在于训练。

传统的RAG仅在推理阶段进行检索，而新一代的方法开始将检索融入到模型的预训练和微调阶段。

REALM模型首次实现了检索器的无监督预训练，让模型在学习语言的同时学会如何查阅资料。

RETRO模型则更进一步，通过分块交叉注意力机制，直接将检索到的数万亿词符的外部知识整合进预训练过程，大幅提升了模型的记忆容量而无需增加参数量。

在微调阶段，Self-RAG引入了自我反思机制，训练模型判断何时需要检索、检索到的内容是否相关，从而减少了对无关信息的盲目引用。

长上下文处理是显式记忆的另一大战场。

虽然现在的模型声称支持百万级Token的窗口，但在处理超长文本时，注意力机制的计算复杂度呈二次方增长。

MemTRM和Unlimiformer等模型通过引入k近邻查找，将注意力机制转化为一种近似检索过程，有效地扩展了模型的感知范围。

有些方法甚至将模型的内部状态外化存储，在需要时重新注入，使得模型能够跨越漫长的对话历史保持逻辑的一致性。

这种外化参数知识的方法，实质上是在模型内部建立了一个高速缓存，解决了有限注意力窗口与无限信息流之间的矛盾。

智能体记忆演化出了类人的前额叶中枢

当大模型被赋予了自主性，进化为智能体（Agent）时，记忆系统也随之升级，开始模拟人类前额叶皮层的功能。

前额叶是执行控制中心，负责工作记忆、目标规划以及信息的整合与调度。

智能体记忆不再是简单的存储与读取，而是涵盖了感知、短期记忆保持、长期记忆固化以及基于记忆的决策等全套认知流程。

一个拥有完善记忆系统的智能体，能够像人类一样从过往的交互中积累经验，形成个性化的行为模式。

短期记忆在智能体中对应着上下文窗口内的信息流。

思维链（Chain-of-Thought）技术促使模型生成中间推理步骤，这些步骤作为临时的思维草稿驻留在短期记忆中，极大地提升了复杂任务的解决能力。

更高级的思维树（ToT）和思维图（GoT）则进一步扩展了这种工作记忆的结构，允许智能体在多个推理路径间进行搜索和回溯。

反思（Reflexion）机制更是引入了类似人类的复盘过程，智能体根据环境反馈生成语言形式的自我批评，并将其存入短期记忆，以便在下一次尝试中修正错误。

长期记忆则是智能体的经验库。

它不仅存储事实性知识，还保存了历史交互轨迹、用户偏好以及从失败中总结出的普世经验。

为了管理这些庞杂的信息，研究人员借鉴了艾宾浩斯遗忘曲线等心理学原理，设计了动态的记忆更新机制。

像MemGPT这样的系统，模仿操作系统的层级存储结构，将长期记忆视为硬盘，将上下文窗口视为内存，通过分页机制在两者间调度信息，从而赋予了智能体无限的上下文能力。

ReasoningBank等框架更是将过往的成功案例抽象为结构化的推理模式，让智能体在面对新问题时能够类比调用旧有的智慧。

多智能体系统将记忆的维度推向了群体智慧。

在协作场景下，共享记忆成为了智能体间沟通的桥梁。

有些系统采用了类似互联网的架构，让不同角色的智能体通过标准化的协议交换信息；有些则构建了层级化的知识图谱，让每个智能体既保留私有记忆，又能随时访问集体记忆库。

这种分布式的记忆机制，使得智能体群组能够像人类团队一样，通过共享经验快速适应新环境，通过分工协作解决超出个体能力范围的复杂问题。

为了将这些理论落地，一系列工程化工具应运而生。

LangChain、LlamaIndex等框架提供了标准化的接口，打通了数据摄入、向量存储到应用调用的全流程。

向量数据库成为了智能体记忆的物理载体，支持着毫秒级的高维语义检索。

而像Mem0这样的平台，则试图提供即插即用的记忆服务，让开发者能够轻松地为自己的应用加上一层持久化的记忆层。

评估智能体记忆的性能也成为一个新的课题，除了传统的准确率，研究者开始关注记忆的时间性、一致性、冗余度以及抗干扰能力，试图用更接近图灵测试的标准来衡量AI的记忆水平。

多模态记忆打破了感知的时空界限

记忆的终极形态必然是多模态的。

人类的记忆中不仅有文字，更有画面、声音、触感乃至情绪。

多模态大模型（MLLMs）正在试图打破单一文本模态的限制，建立起跨越视觉、听觉与语言的统一记忆场。

这在处理视频和机器人控制等任务时显得尤为迫切。

视频本质上是时间维度上的视觉流，包含了海量的冗余信息。如何从连续的帧中提取关键信息并存储为记忆，是当前研究的难点。

在音频领域，记忆模型需要处理高频采样的长序列。

Conformer-NTM等模型通过在编码器和解码器之间插入外部记忆网络，成功捕捉了语音中的长距离依赖。

而在音乐生成中，全局属性表记录了乐曲的调性、节奏等关键信息，确保了生成音乐的连贯性。

对于视频理解，挑战在于如何平衡计算效率与信息保留。

MeMViT等模型设计了层级化的记忆Transformer，利用FIFO（先进先出）队列缓存历史特征，使得模型能够理解跨越数分钟甚至数小时的视频内容。

大视频语言模型（Large Video Language Models）如MovieChat，结合了视觉特征提取与记忆压缩技术，能够就整部电影的内容回答用户提问，展现了惊人的长程视频理解能力。

机器人领域对记忆的需求更是直接关联到物理世界的生存。

具身智能（Embodied AI）需要记住环境的地图、物体的属性以及过往的操作经验。

在视觉导航任务中，记忆机制帮助机器人构建环境拓扑图，使其在探索未知区域时不会迷路。

多模态记忆增强的智能体，如JARVIS-1，能够在《我的世界》这样的开放游戏中，结合预训练的常识与实时的游戏感知，制定复杂的长期计划。

在自动驾驶中，记忆模块存储了历史的交通流信息，辅助车辆在复杂的路况下做出预判。

这些应用证明，记忆不仅是信息的回放，更是连接感知与行动的关键纽带。

未来的AI记忆研究将致力于解决几个核心矛盾。

隐式记忆的黑盒机制需要更透彻的解释，我们渴望像理解电路图一样理解参数中的知识流向。

长上下文与检索增强（RAG）之争将继续，两者在计算效率与信息完整性上各有千秋，融合可能是最终的出路。

智能体记忆将更加动态化，模仿人类的遗忘与重组机制，实现真正的自我进化。

而多模态记忆则面临着数据爆炸的挑战，如何在海量的像素流中提炼出语义核心，将是实现通用具身智能的关键。

记忆是智慧的容器，也是时间的刻度。

从Transformer参数中的静态印痕，到RAG检索的动态索引，再到智能体中鲜活的经验流，AI正在一步步重构人类记忆的完整图景。

我们正站在一个临界点上，目睹着冰冷的硅基芯片逐渐生长出温热的记忆脉络，向着那个被称为通用人工智能的圣杯迈进。

参考资料：

https://openreview.net/forum?id=Sk7pwmLuAY