原文：
towardsdatascience.com/leveraging-graphs-to-advance-chain-of-thought-reasoning-77022a0e1413
本文的文本使用了人工智能软件来增强语法、流畅性和可读性。
思维链（CoT）提示迅速成为一项技术，可以显著提高大型语言模型的推理能力。通过展示逐步推理链条，CoT 允许模型如 GPT-4 解决多步问题——从数学到常识谜题。关键见解是，通过学习上下文示例，模型可以获取复杂的逻辑技能，而无需进行特定任务的微调。
然而，一个关键限制阻碍了 CoT 提示的更广泛应用，那就是依赖于手工设计的演示。构建具有连贯逻辑流程的高质量推理链条需要大量的人力和专业知识。为了释放全部潜力，我们需要自动生成高质量 CoT 演示的方法。
最近的研究试图通过检索和生成方法来解决这个问题。但产生的链条往往存在不连贯、缺失和基础错误。在文本序列中捕捉推理链条的流畅、概念性流程已被证明是困难的。我们提出相反地，用专门的图来表示推理结构，以推进 CoT 提示。
具体来说，本文确定了两种互补的图增强技术：
将 CoT 演示建模为有向图以捕捉流程和分析结构
结合外部结构化知识图以增强语义基础
利用图提供数学和计算框架，以正式描述 CoT 推理模式。同时，利用图分析和嵌入提供了评估、优化和生成演示的新方法。在形式化结构的同时注入知识，有望推进情境学习的边界。
I. 使用有向图建模推理流程
CoT 演示的一个核心方面是从一个推理步骤到下一个推理步骤的逻辑进展。这种思维的概念性流程可以正式地捕捉为有向图结构：
节点作为推理步骤：推理链条中的每个步骤在有向图中建模为一个节点。这些节点代表在解决问题的思维过程中得出的关键想法、发现或结论。
边作为转换：有向边代表步骤之间思维流程的转换。它们编码了从一想法到下一想法在链条中应用到的逻辑推理或推理。
结构属性: 节点属性捕获相关的推理细节。边权重反映了推理和流的强度。节点角色和边语义等附加标记是可编码的。
将 CoT 推理链建模为专用有向图，开辟了几个机会：
1. 分析拓扑和动态: 我们可以研究图拓扑如何从压缩/扩展推理链的变化影响网络指标，如密度、出入度中心性、分布、直径、路径长度等。将 CoT 图结构的动态变化从链扰动到最终任务准确性的关联，揭示了结构和能力之间的关系。通过数学量化 CoT 结构，我们开辟了新的分析维度。
2. 应用图算法: 各种图算法提供了额外的分析计算手段，例如通过聚类系数评估语义一致性，通过连通性分析识别差距或模糊性，通过社区检测提高局部凝聚力，通过最短路径算法最小化推理跳跃等。本质上，我们将 CoT 演示的质量方面转换为嵌入图论计算。
3. 改进聚类/采样: 图嵌入技术可以编码有用的拓扑、节点属性和边关系，以改进问题聚类和 CoT 采样。更细微的语义关系被编译到嵌入向量空间中，提供额外的信号。直接操作图空间也成为可行——例如，通过子图遍历引导采样达到“理想”标准。
4. 可视化推理: 可视化图布局技术突出了连通性中的差距或需要加强的流动区域。可视化 CoT 图使得定位问题直观明显。
总结来说，由有向图提供的数学和计算框架为分析和系统地改进 CoT 演示和提示方法的质量方面提供了严格的方法。将纯文本序列转换为结构化视觉工件也有利于手动设计、分析和调试。图形抽象揭示了隐藏在模糊序列中的方面，同时通过图形式引入了大量技术。
II. 知识图谱的整合
虽然有向图建模了推理链的结构和流程，但整合外部知识图谱可以加强推理过程中引用的概念的语义基础。
现代知识图谱如 WordNet、ConceptNet、Freebase 等，编码了概念实体之间的各种语义关系，例如：
词汇关系（同义、反义等）
层次关系（上位词、同位词等）
关联关系（用于、有能力等）
通过将 CoT 演示中的推理步骤与知识图中的显著概念和关系相链接，我们可以潜在地提高推理链的逻辑一致性和连贯性。
增强链的图注意力
注意力机制可以从集成知识图中传播相关语义知识到 CoT 图中：
对图节点的注意力将模型焦点引导到基于事实的概念
对关系类型的注意力细化步骤之间的边语义
多跳注意力链在更长的路径上跨越概念
以这种上下文方式将结构化知识注入 CoT 图中，增强了推理链的外部线索，同时保留了处理新颖推理的能力。
基于子图的采样以构建基于事实的链
我们可以直接从知识子图中采样以生成深深植根于结构化知识的 CoT 演示：
使用实体链接将 CoT 节点映射到知识图实体
通过遍历语义邻域来构建上下文流
将采样约束到知识模式
通过有意义的知识图区域引导采样过程，可以创建适合问题上下文的基于事实的推理链。
总结来说，基于注意力的注入和引导采样为丰富基于文本的 CoT 提示与关系知识图提供了手段。这结合了神经表示学习与符号先验，以实现鲁棒、可信的少样本推理。
III. 结论
将思维链演示表示为专门的图形结构，并注入相关的外部知识图，为提高少样本推理能力提供多种好处：
可量化的推理分析
将 CoT 提示建模为有向图，使得可以从数学上分析链扰动引起的拓扑动力学，并将度量与准确性相关联。这提供了 CoT 结构与推理能力之间的具体定量关系。
在计算图分析框架内实现 CoT 图的运行，可以严格评估诸如连贯性、连接性差距、冗余等重要的定性方面。
增强的控制和操作
图抽象提供了直接操作和指导。我们可以通过约束图拓扑和属性或直接从知识子图中采样到理想标准来优化 CoT 链。
图嵌入提供了捕获链语义和结构的紧凑向量。这使聚类、检索和迁移学习得到增强。
改进的可解释性和可信度
可视化 CoT 图突出了推理中的问题区域，以进行解决。交互式可视化通过揭示机制工作原理来建立信任。
注意力机制从知识图中传播相关事实，提供上下文基础。固有解释性的符号知识与亚符号神经表示相结合。
融合图技术相较于纯序列基础的 CoT 提示提供了多项优势。以这种方式将神经方法与结构化符号知识相结合，是推进可信赖、基于上下文的少样本推理的有前景方向。
—
首席人工智能官与架构师：Fribl 神经符号人工智能系统构建者，增强通用人工智能（GenAI）在人力资源（HR）领域的应用
Fribl
来源 :
arxiv.org/abs/2210.03493
arxiv.org/abs/2210.03493
