FVQA全解析：基于事实的视觉问答论文脉络与复现指南

如果你最近在整理多模态方向的论文，一定会频繁撞见“FVQA”这个词。FVQA并不是某一篇论文的专有名字，它既可以指细粒度的视觉问答任务，也指向一篇把外部知识引入视觉问答的代表性工作——基于事实的视觉问答。大多数场合下大家讨论的是后者：让模型不仅看图像、读问题，还要从外部知识库里查证事实，再给出答案。我因为项目需要，花了几周把这个方向的论文从早期到近期完整捋了一遍，这篇就是整理后的全部笔记，包含论文脉络、核心机制、实验设置和最容易踩的坑，适合正在做多模态问答、想了解知识增强路线，或者打算拿FVQA做baseline的同学直接参考。

1. FVQA方向全景与关键脉络

1.1 FVQA到底是什么，为什么值得单独整理

先把这个概念定死。FVQA在论文里通常写作Fact-based Visual Question Answering，强调“基于事实”的视觉问答，也有人把它理解成Fine-grained VQA，但在主流文献脉络中，前者才是被广泛沿用的定义。它和普通VQA最大的区别在于：传统VQA模型的答案来源只有一个画面，模型看到什么就答什么；FVQA则要求模型在看完图像、读懂问题之后，还要去外部知识库中检索与问题相关的事实，把“看到的”和“查到的”结合起来，才给出最终答案。

我举个具体的例子。图像里是一只长颈鹿，问题是“这种动物通常生活在哪个地区”。纯视觉模型看到长颈鹿，最多说出“脖子很长”“身上有花纹”，但“生活在非洲草原”这类信息并不直接出现在像素里。FVQA就是专门解决这类问题的：模型需要从结构化知识库中查出“长颈鹿的生活区域”这样一个事实三元组，再和图像内容相互印证。

所以FVQA天然是一个跨模态加知识推理的混合任务。也正因为这样，这个方向的论文牵连很广，视觉特征提取、文本编码、知识库构建、检索模型、推理网络都有涉及。我刚开始整理的时候也差点在几百篇相关文章里迷失方向，后来用三套思路把文献筛成了清晰的主线。

1.2 我筛选论文时用的三套思路

第一套思路是“从奠基引文出发”。FVQA方向有非常明确的标志性工作，从这篇工作开始，往前看它的参考文献，可以找到知识库构建和视觉问答的早期来源；往后看引用它的论文，则能基本覆盖后续所有的改进路线。这个方法对任何一个小方向都通用，特别是被引量大的工作，相当于直接拿到一张拓扑图。

第二套思路是“按技术路线归档”。我不按发表时间顺序读，而是把论文分成三个技术流派：第一类是引入知识库作为外部记忆、以检索为主的路线；第二类是把知识表示成图谱结构、用图神经网络做多跳推理的路线；第三类是预训练语言模型和大模型出现之后、把知识转化成自然语言或向量化表示做开放问答的路线。每一类内部再按改进顺序读，理解成本会低很多。

第三套思路是“以可复现性为筛选标准”。FVQA方向有一批论文没有公开代码，或者公开了代码但文档缺失。这类论文对我做实际项目来说参考价值有限，我会先放一边，优先分析那些数据可用、模型开源、训练流程清晰的工作。整理过一轮之后我发现，真正能稳定跑通、能拿来当baseline的，其实只占文献总量的三分之一左右。

1.3 主流技术路线图谱

结合上面的分类，我把FVQA方向画成了一张脉络图，这里用文字描述一下：

从时间维度看，最早的工作主要集中在“怎么把知识库接进VQA框架”，核心是数据集的构建和检索模块的设计。中期的工作把注意力机制和图神经网络引进来，强调可解释的多跳推理。最近的工作则越来越依赖大规模预训练模型，知识不再以严格结构化三元组的形式存在，而是被文本化或向量化，交给模型自己理解和组合。

从空间维度看，所有论文几乎都在处理三个子问题：知识检索、跨模态对齐、答案生成。任何一篇FVQA方向的论文，都可以用这三个位置定位其贡献点。我在整理笔记时也按照这个框架写批注，后面看第二遍的时候效率高了很多。

2. 核心论文拆解：从奠基到分水岭

2.1 奠基工作：让模型学会“查资料再回答”

这个方向的第一篇标志性工作，解决的问题非常朴素：普通VQA模型没办法回答需要常识支撑的问题。当时研究者的思路是，给模型配一本“百科全书”，遇到图像里没有答案的问题就去查。于是他们构建了第一代基于事实的VQA数据集，并把整个任务定义成“给定图像和问题，模型必须输出一个能被知识库事实支持的答案”。

从模型结构上看，这套工作已经具备了后续所有工作的雏形。它先把图像输入视觉编码器得到区域特征，把问题经过LSTM编码成向量，然后从知识库中检索与问题相关的候选事实，最后把图像、问题、事实三类信息拼接起来，用分类器在候选答案集合上打分。今天看这个结构很朴素，但它的贡献在于正式提出了“外部知识不能只是辅助信号，而应该是答案验证依据”的建模思想。

一个值得注意的细节是，数据集里的知识不是随意堆砌的，每条知识都被整理成标准三元组格式，例如（长颈鹿，生活区域，非洲草原）。他们甚至规定每道题必须与图像内容有可验证的关联，也就是说，图像里得真的能看到问题中提到的实体，这种质量控制让后来的复现工作少了很多麻烦。

2.2 知识检索路线：把事实当作可解释证据

紧随其后的一个重要流派，是围绕“检索+融合”设计的可解释方法。我印象比较深的一类工作把模型拆成了两段：第一段负责从知识库中召回若干条与图像、问题都相关的事实，第二段对每条事实做相关性打分，并最终输出分数最高的事实作为答案依据。

这类工作的核心创新在于“证据可视化”。模型不再直接输出答案标签，而是先输出一条三元组，再决定用这个三元组中的哪个字段作为答案。这对下游分析非常有价值，因为调试时你能直接看到模型到底依据哪条知识作答。如果模型答错了，看一眼事实打分就知道是检索出了问题，还是融合阶段没有把视觉信息利用起来。

在实际测试中我发现，这类模型的准确率上限很大程度上取决于检索器的质量。候选事实如果丢掉了正确答案，后面无论融合网络做得多精巧，都不可能答对。所以后来很多论文开始研究“如何提高召回率”，包括增加事实间的关系路径、利用问题解析得到主题词、对知识库做实体链接等。

我用这样的模型跑过一组对比实验，直观感受是，当候选事实从5条扩到20条时，召回率明显提升，但最终准确率并不一定跟着涨，因为候选事实多了以后，融合模块更容易被无关节事实干扰。这也是检索类方法共有的一个问题：召回和去噪需要同时优化。

2.3 图谱与多跳推理：让答案“推”出来

再往后，研究者不再满足于单条事实的直接匹配，因为很多问题是“多跳”的。比如“这个建筑物所在城市的著名大学有哪些”，模型需要先在图像里识别出建筑物，查到建筑物所在城市，再去查这个城市有哪些大学。如果知识库检索只做一步匹配，这类问题几乎无解。

于是出现了用图结构建模知识的工作。它们的做法通常是把知识库中与图像实体相关的三元组取出来，构建成本地子图，再用图神经网络对子图节点进行信息聚合。提问时，问题会被解析成分步查询的形式，每一步都对应图谱上的一次游走，模型通过多轮的图更新完成推理。

这类方法的优势非常明显：可解释性强，推理链路能从图谱路径上完整还原；对复杂问题的处理能力也远高于单步检索。但缺点同样突出，图谱构建的代价很高，而且推理性能受子图规模影响很大。子图太大，图网络的计算量急剧上升；子图太小，又可能漏掉关键路径。

我在试跑这类模型时被一个细节拖了很久：不同知识库的实体命名风格完全不一致。比如一个库用“NYC”表示纽约，另一个库用“New York City”，如果实体对齐没做干净，图谱上就会多出一堆孤立节点，导致推理路径断裂。这算是工程上的隐性成本，论文里很少会写清楚。

2.4 生成式与预训练：更大的模型重新定义问题

最近两三年的工作，开始绕开“严格三元组检索”这件事。代表做法是把知识库事实改写成自然语言描述，和图像、问题一起丢给预训练视觉语言模型，让模型通过prompt或交叉注意力机制自己抽取所需信息并生成答案。这类模型的回答更自由，不再受限于词表，也不再强求输出哪条事实。

从效果上看，生成式模型在处理开放问题时确实优势明显，尤其对图像和文本之间的复杂关系理解得更灵活。但代价是评估难度变大。早期FVQA是标准闭集分类，答案空间固定，准确率口径统一；生成式模型出来的答案可能是自然语言句子，判断对错就需要字符串匹配或语义匹配，不同论文的口径差异很大，跨论文对比数字非常痛苦。

还有一类工作尝试把知识库向量化，存成稠密索引，再通过向量检索找出最相关知识片段，拼送给语言模型。这套思路和当前检索增强生成技术高度一致，我记得一些新的多模态问答框架已经直接采用了这个范式。它的好处是省去了实体对齐和结构匹配，坏处是知识变成了不可解释的向量，出错了很难定位原因。

3. 从论文到复现：实验配置与数据细节

3.1 数据准备：图像、问题、三元组的格式

如果你打算拿FVQA当baseline，第一关就是数据。FVQA方向的数据集通常包含四部分：图像、问题、知识三元组、答案标签。图像来自通用的物体识别数据集，问题由标注人员结合图像内容编写，知识三元组则是从公开知识库中抽取并经人工筛选的。

一个容易被忽略的地方是，数据集中每道题对应的三元组并不只有一个。很多时候同一个事实在知识库里有多种表达方式，同一关系也可能有同义谓词。处理数据时不能只按完全字符串匹配来查，必须做归一化。我在预处理阶段的做法是先建一个谓词映射表，把语义相同的不同表述映射到同一标准谓词上，相当于给三元组做一次“洗数据”。

另一个细节是训练集和测试集的问题不能重合。FVQA数据集的构建者一般会保证测试题涉及的知识三元组在训练集中完全不出现，以此衡量模型的泛化能力。如果你的自建数据没有刻意划开这个边界，模型很容易靠记忆作答，评测结果虚高得离谱。

3.2 训练与评估：别被表面的Accuracy骗了

FVQA早期评测基本用top-1准确率，也就是模型打分最高的答案是否等于标准答案。这个指标简单直接，但有两个大坑。

第一个坑是答案空间不平衡。数据集里有些答案类别出现频率极高，模型哪怕只做简单的视觉与问题匹配，也能在这些高频类上拿到不错的分数。你看一组模型整体准确率都是六十几，完全看不出哪一个真正学到了知识推理能力。

第二个坑是只评答案不评证据。我建议在做模型对比时，额外输出“事实命中率”这个指标：模型所选答案对应的三元组是否在标准事实列表中。如果一个模型答案对了但证据完全不对，说明它是在瞎蒙；只有答案和证据同时正确，才是真正有可解释性的推理。这个习惯能帮你在实际业务中筛掉很多花架子模型。

3.3 复现时最容易出错的四个环节

第一，图像特征抽取器不一致导致结果无法对齐。不同论文使用的预训练视觉模型版本、输出特征维度都不一样，复现时千万不要混用。用同一张图像在不同特征抽取器下得到的特征分布差距很大，直接替换会让后续所有模块的表现都变样。

第二，负采样策略不合理。训练检索器的时候，模型不能只见到正确的知识三元组，也要见到大量相似但不正确的三元组，否则它学不会区分。我第一次复现时图省事直接随机采样负例，结果检索器把“长颈鹿生活在大草原”和“狮子生活在大草原”全部判定为正确，因为两类文本结构太像。

第三，实体链接步骤不仔细。知识库中的实体需要先链接到图像中检测到的物体名词上。链接错了，后续推理全是白搭。建议把实体链接单独拆成一个模块，做中间层调试，不要和主模型耦合在一起排错。

第四，答案归一化处理没有统一。日期、数字、单位、复数形式这些细节看起来不起眼，却会影响最终评估。我见过一个模型明明答对了“3个”，标准答案是“three”，因为字符串不匹配被判错。提前写好归一化脚本：数字统一转成阿拉伯数字，小写化去除空格，把复数和单数映射到标准形式。

4. 常见问题、避坑建议与经验速查

4.1 检索结果质量上不去的原因排查

在做基于检索的FVQA模型时，最容易出现的现象是：召回率很高，但最终答案准确率很低。这种情况通常不是检索器不够强，而是后段打分出了问题。候选事实太多，融合网络被无关信息淹没，反而不知道应该关注哪一条。

我的排查路径是先看视觉注意力分布。如果注意力分数均匀散在整张图上，说明图像编码和问题没有对齐好；再看事实打分分布，如果高分段同时挤着好几条语义差不多的事实，说明负采样不够或者特征区分度不足。这两个检查点基本能定位百分之八十的问题。

如果问题出在知识库本身，比如某个实体在库中根本没有对应事实，那就只能接受正确答案不存在于候选集的事实。这种情况下强上再复杂的模型也没有意义，不如考虑在知识库覆盖范围上补数据。

4.2 开放与闭合答案空间的问题

FVQA从封闭词表走向开放生成之后，评估口径变成了一个争议点。封闭词表时代，模型做的是N选1分类，结果稳定可复现；开放生成时代，模型可能输出一个完整短语甚至句子，不同论文用的匹配策略也不一样。

如果你做对比实验，我强烈建议同时维护两套评估口径：一套是严格字符串匹配，另一套是基于语义相似度的软匹配。实验报告里写清楚用的是哪套，避免别人复现时得出完全不同的结论。在项目里，可以用严格匹配做硬指标，用软匹配做参考指标，这样既严谨又灵活。

4.3 自己的任务要引入FVQA时，先想清楚的三件事

第一，你的问题真的需要外部知识吗？如果所有问题都能从图像里找到答案，做FVQA是给自己加负担。只有在存在明显知识缺口的时候，外部知识库才有价值。

第二，知识库的更新频率是否匹配业务需求。静态知识库适合百科类问答，如果问题涉及的时效性信息很强，静态三元组反而会误导模型。我建议在知识库层增加时间戳字段，检索时限制时间范围。

第三，可解释性是否是硬需求。如果需要向用户展示答案依据，优先考虑保留三元组证据的路线；如果只重效果，生成式路线体验更好、上限更高。这两个路线各有取舍，没有绝对优劣。

4.4 避坑清单速查

这方面我个人体会很深的一点是，FVQA方向的论文往往把实验结果写得很漂亮，但真正跑起来以后，大量时间都花在数据清洗和评估口径上。读论文时多花五秒钟看一眼它的评估设定，比多跑十个模型都管用。

最后再分享一个我自己现在仍在用的整理方法。我读FVQA论文时，不是按传统摘要去记录，而是每篇论文单独建一页三栏笔记：一栏写“它解决哪个子问题”，一栏写“用了什么数据”，一栏写“评测口径和坑点”。等整理到三十篇以上时，方向里的共识和分歧就自动显现了。如果你正准备系统看这个方向的文献，建议也按照这个方法试试，应该能明显省下二次阅读的时间。