动机
现有归因问答（AQA）的评估方法存在 “归因短视” 问题 —— 仅关注单个陈述的事实准确性与归因可靠性，却忽视长文本回答的全局逻辑完整性。这导致大语言模型（LLMs）常生成 “事实正确但逻辑混乱” 的输出，出现推理断裂、冗余堆砌或循环论证等问题，难以满足复杂多跳推理场景的需求。为此，研究团队提出 LOGICSCORE 框架，将评估范式从局部事实核查转向全局推理审视，填补逻辑完整性评估的空白。
评估方法
现有归因问答（AQA）的评估方法存在 “归因短视” 问题 —— 仅关注单个陈述的事实准确性与归因可靠性，却忽视长文本回答的全局逻辑完整性。这导致大语言模型（LLMs）常生成 “事实正确但逻辑混乱” 的输出，出现推理断裂、冗余堆砌或循环论证等问题，难以满足复杂多跳推理场景的需求。为此，研究团队提出 LOGICSCORE 框架，将评估范式从局部事实核查转向全局推理审视，填补逻辑完整性评估的空白。
评估方法
收到黑格尔的逻辑学所启发，LOGICSCORE 基于 Horn 规则，通过 “答案生成→逻辑转换→逻辑评估” 三阶段流程，从三个维度量化推理质量：
· 完整性（Completeness）：验证从问题到答案的推理路径是否完整无缺口；
· 简洁性（Conciseness）：衡量推理过程是否无冗余、无关内容；
· 确定性（Determinateness）：确保前提能明确推导出唯一结论。该框架通过反向验证机制将自然语言回答转化为结构化逻辑链，实现对推理质量的精准评估。
评估结果
研究在 HotpotQA、MusiQue 等三大多跳数据集上，对 20 余款 LLM（含 GPT-5.1、Gemini-3-Pro 等专有模型，LLaMA3、Qwen3 等开源模型及 SFT 微调模型）展开测试，核心发现如下：
1. 专有模型存在 “逻辑质量与事实归因脱节”：Gemini-3-Pro 的归因准确率达 92.85%，但简洁性仅 35.11%，大量输出为冗余信息堆砌；
2. 开源模型逻辑表现差距显著：小参数模型（如 LLaMA3.2-1B）在 MusiQue 数据集的简洁性仅 2.37%，推理链条支离破碎，即使参数提升至 70B，逻辑完整性仍不及专有模型；
3. 存在 “规模悖论”：Qwen3 系列参数从 14B 增至 235B 时，确定性接近满分（98.87%），但简洁性反而从 52.01% 降至 45.62%，说明参数扩容仅增强事实一致性，未提升逻辑密度；
4. 微调模型泛化能力弱：SelfCite（8B）在 HotpotQA 的完整性达 66.74%，但在更复杂的 MusiQue 数据集骤降至 35.16%，仅优化表面格式而非深层推理能力；
5. 推理深度影响显著：当推理步骤超过 3 跳，所有模型的简洁性从 40% 跌至 20% 左右，逻辑完整性普遍下滑。
样例分析
通过实际案例观察到 LLM 三类典型逻辑错误，且事实准确性无法掩盖这些问题：
1. 循环论证（Circular）：GPT-4o 回答 “主街车站所在州附近海洋的最深处” 时，推理链陷入 “密尔沃基海沟→波多黎各海沟→大西洋→密尔沃基海沟” 的自我循环，无法推进至结论；
2. 推理断裂（Broken）：GPT-4o 回答 “乌尔里希・瓦尔特的雇主总部所在地” 时，未明确 “德国航空航天中心” 与 “兰德控制中心” 的逻辑关联，关键链路缺失；Qwen3-235B 回答 “USS Peril 相关的 SEAL 缩写含义” 时，偏离 “驱逐舰类别” 核心，直接跳跃至 “海军海豹突击队”，推理不连贯；
3. 偏离主题（Deviated）：Gemini-3-Pro 在同一雇主总部问题中，仅检索部分无关信息，未完成多文档关联推理，最终答案偏离核心；
4. 冗余堆砌（Verbose）：Claude-4.5 回答海洋最深处问题时，虽推理完整，但夹杂大量 “波多黎各海沟相关描述” 等冗余信息，导致简洁性仅 44%。
结论
正如研究团队所强调的："真正可靠的 LLM，不仅要 ' 说真话 '，还要 ' 有条理地说真话 '。" 随着逻辑评估体系的完善，未来的 AI 生成内容将更具可读性、可信度，真正成为人类的得力助手而非 "逻辑混乱的事实搬运工"。
论文链接：https://arxiv.org/pdf/2601.15050
代码仓库：https://github.com/zhichaoyan11/LogicScore
