本文提出深度生成式自适应重放(DGAR)方法解决时序知识图谱推理中的持续学习问题。通过历史上下文提示(HCP)保留完整历史语义，利用扩散增强历史分布生成(Diff-HDG)缓解分布冲突，采用深度自适应重放(DAR)分层融合历史与当前分布。实验表明，DGAR在MRR、Hits@k等指标上显著优于基线方法，有效缓解灾难性遗忘，并可适配多种GNN基模型，为动态TKG推理提供高效持续学习方案。
笔记整理：马阳阳，东南大学硕士，研究方向为主动学习、知识图谱
论文链接：https://arxiv.org/pdf/2506.04083
发表会议：ACL 2025
1. 动机
时序知识图谱（TKG）通过为三元组关联时间戳，拓展了传统知识图谱（KG）的动态表达能力，为大语言模型推理、事件预测、金融 forecasting 等下游任务提供结构化的时序知识支撑。但 TKG 常存在不完备性，时序知识图谱推理（TKGR）需基于历史知识推断缺失事实，而现实场景中 TKG 会持续新增实体、关系与事实，传统全量重训方式计算成本极高，持续学习（CL）微调虽高效却易引发灾难性遗忘。现有基于 CL 的 TKGR 方法仍存在两大核心局限：（1）仅片面重组单个历史事实，忽视理解事实历史语义所需的完整历史上下文，难以捕捉实体行为的整体趋势；（2）直接重放历史事实以保留知识，未考虑历史与新兴事实的分布冲突，削弱了灾难性遗忘的缓解效果。因此，本文提出深度生成式自适应重放（DGAR）方法，通过整合完整历史上下文、增强分布共性特征，在提升推理性能的同时高效缓解遗忘问题。
2. 贡献
本文的主要贡献如下：
（1）提出一种面向时序知识图谱推理（TKGR）的生成式自适应重放持续学习方法（DGAR），通过整合完整历史上下文与缓解分布冲突，有效解决知识遗忘问题，为动态场景下的 TKGR 提供新范式。
（2）设计历史上下文提示（HCP）机制，以包含实体关联关系与时序信息的提示作为重放数据采样单元，保障历史语义完整性，突破传统单事实采样的局限性。
（3**）提出扩散增强历史分布生成（Diff-HDG）策略与深度自适应重放（DAR）机制**：前者通过预训练扩散模型生成历史分布并强化跨分布共性特征，后者以分层自适应融合方式整合历史与当前分布，高效缓解分布冲突。
**（4）**在 ICE14、ICE18、ICE05-15 及 GDELT 四大基准数据集上开展大量实验，验证 DGAR 在 MRR、Hits@k 等指标上持续优于现有基线方法，且在不同 GNN 基模型（RE-GCN、TiRGN、LogCL）上具备良好扩展性。
3. 方法
3.1 模型结构
模型的总体架构如图1所示，DGAR 整体遵循持续学习范式，将时序知识图谱（TKG）的每个时间快照视为独立任务，架构围绕 “历史信息保留 - 分布冲突缓解 - 新旧知识融合” 核心目标，由三大模块 + 训练单元构成，端到端完成时序知识图谱推理。
图1 DGAR 的总体架构图
3.2 历史上下文提示构建（Historical Context Prompt, HCP）
**设计目标：**突破传统单事实采样的局限性，保留实体完整历史语义，为后续历史分布生成提供高质量输入。
*核心逻辑：以查询实体为中心，构建包含其历史关联关系与时序信息的提示单元。对于新查询(eq, rq, ?, t)，在历史快照*Gi(i<t)中提取与eq相关的三元组（含逆三元组），形成该实体在时刻的 HCP：
其中包含eq、历史邻居实体s及二者关系r，确保历史语义完整性
**采样策略：**为平衡计算成本与泛化能力，随机选取k个不同时刻的 HCP 组成重放数据集Promptreplay，涉及实体集合记为Vreplay（受新数据直接或间接影响的实体）。
3.3 扩散增强历史分布生成（Diffusion-Enhanced Historical Distribution Generation, Diff-HDG）
**设计目标：**生成与当前分布冲突最小的历史实体分布表示，强化跨分布共性特征。
核心组件与流程：
预训练扩散模型（DM）：采用 Transformer 编码器架构，通过前向扩散（向实体嵌入添加高斯噪声）与反向去噪（从噪声中重构实体分布）预训练，具备从提示中复现知识的能力。
条件生成机制：以 HCP 中的实体嵌入S0=Embedding(s)和关系嵌入R0=Embedding®为条件，结合高斯噪声Z ~N(0, I)，初始化待去噪对象：
确保生成的分布贴合实体历史语义。
共性特征增强（Guider）：利用当前 TKGR 模型参数引导去噪过程，通过梯度优化强化历史与当前分布的共性特征，弱化冲突特征：
其中σ为softmax 函数，γ为超参数（最优值设为 1）。
分布聚合：经n次迭代去噪后，得到单个 HCP 的实体表示，通过均值池化聚合k个时刻的结果，形成最终历史分布表示：
3.4深度自适应重放（Deep Adaptive Replay, DAR）
**设计目标：**高效融合历史与当前实体分布，平衡新旧知识权重，避免简单融合导致的性能损失。
**核心逻辑：**在KG 快照序列推理模型的每一层（最优层数L=3）进行分层自适应融合，而非末端一次性注入：
其中α∈[0,1]为自适应权重参数，动态平衡历史知识保留与当前知识吸收。
**优势：**通过分层融合保留实体时序演化特征，避免历史信息被当前分布覆盖，同时不引入额外复杂参数。
3.5损失函数设计
采用双损失组合，兼顾当前任务学习与历史知识保留：
当前任务损失Lt,c：基于当前任务训练集的三元组，以实体预测为多分类任务计算损失：
历史重放损失Lt,r：以Promptreplay中的历史三元组为正则项，结构与Lt,c一致，缓解当前优化导致的历史信息丢失；μ为超参数（默认设为 1）。
**3.**6 训练细节
优化器：采用 Adam 优化器，学习率设为 0.001，嵌入维度为 200。
扩散模型预训练：采用持续学习策略，t时刻基于前一时刻预训练模型ϕt-1初始化，更新后得到ϕt，避免数据泄露并适配动态数据。
新实体 / 关系处理：采用 Xavier 初始化，暂未设计专用建模策略。
**3.**7 方法核心优势
上下文完整性：HCP 以实体关联三元组为单位，保留历史语义上下文，突破单事实采样的碎片化局限。
分布冲突缓解：Diff-HDG 通过条件生成与共性特征增强，减少历史与当前分布的语义冲突。
自适应融合：DAR 分层注入历史分布，通过(\alpha)参数动态平衡新旧知识，兼顾保留与更新效率。
扩展性强：可适配 RE-GCN、TiRGN、LogCL 等多种 GNN-based TKGR 基模型，无需大幅修改架构。
4. 实验
4.1 实验核心目标
验证 DGAR 在时序知识图谱推理（TKGR）持续学习场景下，推理准确性与遗忘缓解能力的双重优势，同时验证核心组件有效性与模型扩展性。基线模型：
4.2 关键实验设置
**数据集：**选用 ICE14/ICE18/ICE05-15（地缘政治事件数据）、GDELT（高频全球事件数据）4 个主流基准，覆盖不同时间粒度与数据规模。
**基线模型：**对比 FT、ER、TIE、LKGE、IncDE 等 5 类经典持续学习 + TKGR 方法，默认以 RE-GCN 为基模型。
**评价指标：**核心看 MRR（平均倒数排名）、Hits@1/10（推理准确率），辅以历史任务平均性能（衡量遗忘缓解）。
4.3核心实验结果
**主实验优势：**DGAR 在所有数据集、指标上均显著优于基线，GDELT（高频场景）中 Current MRR 从 15.56 提升至 23.25，历史任务平均性能提升超 20%，有效缓解灾难性遗忘：
**消融实验验证：**HCP（历史上下文提示）、Diff-HDG（扩散生成）、DAR（自适应融合）均为关键组件，移除后 MRR 平均下降 3%-5%，尤其二者协同能大幅降低分布冲突。
**扩展性验证：**适配 RE-GCN、TiRGN、LogCL 三种基模型，均能显著提升 CL 场景下的推理性能，弥补复杂模型易过拟合的短板
**可视化佐证：**实体特征分布经 DGAR 处理后更集中，跨时间阶段一致性强，证明分布冲突缓解效果。
5. 总结
时序知识图谱（TKG）为大语言模型推理、事件预测等任务提供动态结构化知识，但持续更新场景下，传统全量重训成本高，持续学习（CL）微调易引发灾难性遗忘。现有 CL-based TKGR 方法存在历史上下文碎片化、忽视分布冲突两大局限。为此，本文提出深度生成式自适应重放（DGAR）方法。其核心设计包括：以历史上下文提示（HCP）为采样单元，保留实体完整历史语义；通过扩散增强历史分布生成（Diff-HDG）策略，强化跨分布共性特征；采用深度自适应重放（DAR）机制，分层融合历史与当前实体分布。同时，通过 “当前任务损失 + 历史重放损失” 的双损失函数巩固知识。实验在 ICE14、GDELT 等四大基准数据集验证，DGAR 在 MRR、Hits@k 指标上显著优于 FT、TIE 等基线，历史任务 MRR 平均提升 8.23%，GDELT 高频场景下 Current MRR 从 15.56 提升至 23.25。该方法可适配 RE-GCN、LogCL 等多种基模型，兼顾推理性能与遗忘缓解，为动态 TKG 推理提供了高效可落地的持续学习方案。
如何学习AI大模型？
如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！
这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！
第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
