1. 项目概述
1.1 核心需求解析
FVQA，全称Fine-grained Visual Question Answering，细粒度视觉问答。做这一块的研究者和工程师，肯定没少在检索论文时被"视觉问答"和"细粒度视觉问答"这两个概念绕晕。普通的VQA任务是"图里有什么"、 "图里的人在做什么"，而FVQA要求系统回答更刁钻的问题——"图中这个型号的汽车是哪一年发布的"、"这位球员在2018赛季的总进球数是多少"、"这个建筑使用的玻璃幕墙材质有什么防火等级要求"。这些问题单靠看图根本答不出来，模型必须做到两件事：一是准确识别图像中最细粒度的视觉线索（品牌、型号、颜色、纹理、姿态），二是把这些视觉线索和外部知识（知识图谱、百科、常识库）做精确对齐。
我最初接触这个方向是因为一个项目需求：让系统对家居装修实拍图做质检问答，用户会问"这个台面的石材纹路属于哪种花岗岩种类？耐高温性能如何？"早期用通用视觉问答模型跑，准确率惨不忍睹，后来系统整理FVQA方向的论文，才慢慢摸清楚这个领域的技术脉络。
这篇博文，就是基于我大半年时间梳理FVQA论文的工作总结。我尽量把从数据集构造、模型设计到评估指标的关键点讲清楚，也会穿插一些自己复现论文时踩过的坑。不管你是刚入门的研究生，还是准备在业务中落地多模态问答系统的工程师，这篇文章都能帮你在检索和阅读FVQA论文时少走弯路。
1.2 为什么FVQA值得单独整理
把FVQA从VQA的大筐里单独拎出来整理，是因为这个子方向的问题定义、数据需求、模型评估方式和通用VQA差别巨大。通用VQA数据集（比如常见的VQA v2）里，大部分问题只要看局部区域就能回答，比如颜色、数量、物体是否存在，这类问题对"知识"的需求很低。FVQA则刻意设计了需要外部知识支撑的问题，而且要答对，必须在细粒度类别层面做视觉识别。
另一个原因是这个方向的论文数量正在快速膨胀。整理过程中我统计了一下，从2016年到最近几年，与FVQA直接相关的核心论文超过了80篇，加上引用的周边工作超过200篇。如果不梳理清楚技术演进的脉络，新人很容易被各种方法的名字搞混——一会儿是"组合式推理"，一会儿是"图注意力"，一会儿"多模态预训练"，一会儿"知识增强"，其实它们解决问题的方式和适用场景差异很大。
对从业者来说，FVQA论文汇总的实用价值在于：它能帮你快速判断某个问题该用哪条技术路线。比如你的核心痛点是没有可用知识库，那就应该重点关注端到端隐式知识方法；如果你的数据已经关联了结构化知识图谱，图注意力方法就是更稳的选择。接下来我按方法演进、关键技术、实操复现三个维度展开。
2. FVQA论文地图：一条完整的技术演进线
2.1 从感知到认知的问题本质转变
FVQA的论文如果按时间线排列，本质上反映了视觉问答从"感知任务"向"认知任务"的进化。早期的视觉问答研究，集中在"看见什么回答什么"，问题大多可以用区域特征加简单分类器解决。但研究者逐渐发现，大量现实问题没法只靠像素信息回答——图像中的物体只是一个视觉锚点，答案要从外部世界知识中检索。
理解了这一点，看FVQA论文就不会被细节带偏。所有方法本质上都在解决同一个核心矛盾：如何把图像中的细粒度视觉标识（比如车标、建筑样式、生物物种）转换成可用于知识检索的语义锚点，再完成跨模态的推理。
我整理论文时，习惯先把每篇论文归类到三个问题层次：第一层是"识别层"，模型能否正确识别细粒度类别；第二层是"检索层"，模型能否根据识别结果找到正确答案所在的候选知识；第三层是"推理层"，模型能否对检索到的多个知识片段进行组合推理，得出最终答案。
这个分类框架帮我省了很多事。每当看到一篇新论文，我先判断它主要解决哪一层的问题，再决定是否需要精读。很多FVQA论文实际只做了第一层和第二层的拼接，推理部分用的是非常简单的外挂机制，这类论文的参考价值有限，但作为入门理解还是不错的起点。
2.2 方法演进的四个阶段
FVQA领域的方法演进，可以分成四个相对清晰的阶段。第一个阶段从2016年到2017年，是"手工特征+外挂知识库"的时代。代表作是那个经典框架——用目标检测模型提取区域特征，用属性分类器识别颜色、材质等属性，然后用这些标签去知识库中查答案。这套方法的优点是可解释性强，每个环节都能单独调试；缺点是误差会级联传播，前面识别错了一个属性，后面答案肯定错。
第二个阶段从2017年到2019年，注意力机制开始大规模应用。研究者不再硬编码视觉属性，而是让模型自己学习"应该看哪里"。代表性的工作是各类空间注意力和通道注意力的变体。这个阶段还出现了图神经网络方法，把图像中的物体和问题中的实体建模为图结构，通过图卷积来推理关系。我实际跑下来的感觉是，图方法在构造良好、实体关系清晰的数据集上表现不错，但泛化到复杂场景时，图构建本身就成了新的瓶颈。
第三个阶段从2019年到2021年，预训练模型范式占据主导。大规模图文预训练模型开始席卷FVQA领域，这些模型先在百万级图文对上学到通用的跨模态表征，然后在下游的FVQA任务上微调。相比之前的方法，预训练模型的优势非常明显——视觉特征和文本特征在同一个语义空间，不再需要复杂的对齐模块。但问题是，预训练知识对"细粒度识别+外部知识推理"这个组合任务覆盖不足，专门面向FVQA设计的预训练策略还在缓慢进化。
第四个阶段是最近两三年，多模态大模型和外部知识增强结合。这类方法不再用固定的知识图谱，而是动态调用大规模语言模型或多模态大模型内化的事实知识，配合检索增强生成（RAG）机制从外部知识源中获取候选证据。我自己用这套思路做实验，发现它对细粒度问题的回答流畅性和知识覆盖面都远超前几个阶段的方法，但幻觉问题更严重，怎么验证答案的正确性是个大挑战。
2.3 值得精读的里程碑论文
整理了不少论文后，我梳理出几篇必须精读的里程碑工作。当然其中有的作者和机构信息因为各种原因不便展示，但技术本身是公开的，我按贡献来介绍。
第一篇是奠定FVQA任务定义的经典工作。它构造了第一个细粒度视觉问答数据集，问题通过三元组模板自动生成——即给定图像中的实体、属性和关系，自动生成"这个物体的属性X是什么？"这样的问题，并关联到知识图谱条目。这篇论文的价值不只是数据集本身，还建立了一个通用评估框架：测试模型在未见过的知识三元组上的泛化能力。
第二篇是外挂知识库的代表作，它设计了一个显式的"视觉-知识"分离结构，视觉模块只负责提取实体标签和置信度，知识模块根据实体标签检索相关事实，最后用答案预测模块做多选。这个框架看起来简单，但它把问答系统的模块化思想贯彻得非常彻底，后来的很多工作都是在这个框架上做改进。
第三篇是图注意力推理的早期尝试，它将图像场景图、问题语义图和外挂知识图谱融合到一个统一图结构中，用图注意力层迭代更新节点表征。我当时复现这篇论文时，对图构建的繁琐程度印象极深——节点类型、边类型、图规模的设定，几乎每一个都直接影响最终效果。
第四篇是预训练范式进入FVQA的标志性工作，它验证了"先在大规模图文对上预训练，再在细粒度问答上微调"的基本思路，并且给出了一个非常实用的发现：预训练时加入更细粒度的描述文本，能够显著提升下游细粒度分类能力。这个洞察后续被很多论文引用。
第五篇是检索增强生成方向的最新探索，它不再单独训练一个视觉问答模型，而是把图像转成密集视觉特征序列，输入大语言模型生成答案，同时用一个外部证据检索器来提供候选知识片段，最终答案由生成结果和检索证据共同决定。这类方法的局限大家心知肚明——对算力的要求高，小实验室很难复现完整pipeline。
3. 数据集和评估指标：理解好论文的前提
3.1 主流数据集的设计逻辑
FVQA论文的实验对比，绕不开那么几个数据集。一个经典数据集把知识组织成人际关系、动作、场景等类型，问题的生成方式是先标记图像中的实体，再在知识图谱里找相关三元组，用模板把三元组转化成自然语言问题。这样做的好处是每个问题都有明确的知识支撑证据，评估时能追踪到模型答案的来源。坏处则是问题是模板生成，词汇多样性不够，模型学到的是模板模式而不是推理能力。
另一个常见数据集强调更复杂的多跳推理，它的特点是知识图谱本身非常庞大，有些问题的答案需要跨越多个关系才能找到。我在实验中发现，这类数据集上的方法分水岭很明显——有的模型在单跳问题上准确率能到60%，跨到两跳就只剩30%。这个对比同时也说明，FVQA的核心难点不是视觉识别本身，而是多跳知识推理。
还有一个被广泛使用的评估基准，它的问题覆盖范围很广，从颜色、数量，到因果关系、功能性推理都有。它的设计逻辑是"任何问题都必须依赖外部知识才能回答"，也就是说，仅仅把图像内容和问题文本拼在一起，用统计相关性是找不到正确答案的。这一点对研究者很重要——它强制要求模型具备真正的知识对齐和判断能力，而不是靠数据集的分布偏差走捷径。
3.2 评估指标：准确率之外的信息
FVQA论文最常用的评估指标是精确匹配准确率（Accuracy/EM），即模型给出的答案和标准答案完全一致才算对。这个指标简单直接，但对同义异形（"NYC"和"New York City"）、近似正确（"约150毫米"和"150毫米左右"）的场景过于苛刻。一部分论文开始用开放生成式的评估指标，比如通过一个预训练语义相似模型判断答案和参考答案的语义一致性，允许合理的表述差异。
我自己在复现实验时发现一个隐蔽的坑：不同论文对答案规范化（answer normalization）的处理不一致，有的会把数字统一成小数形式，有的会去掉量词，这会导致同一模型在不同论文中报告的最精确匹配准确率差出2到3个百分点。所以横向对比论文时，我会第一时间检查它们对答案的处理流程，否则对比的意义就很有限。
另一个值得关注的趋势是分难度评估。不少新论文把测试集按问题难度分成三档：单步查找、多步推理、隐式反事实推理。只看平均准确率会掩盖模型在难问题上的薄弱环节。比如某个论文的平均准确率看上去比前作高3%，但细看分难度表现，它的提升全在单步查找上，多步推理实际上还退步了。这种细节才是决定一篇论文有没有真实贡献的关键。所以读FVQA论文时，我会先看作者有没有提供分难度的结果表，没有分的就多长个心眼。
4. 核心技术模块深入拆解
4.1 细粒度视觉特征提取的进化
细粒度视觉特征是FVQA推理的物质基础。早期工作沿用通用目标检测框架提取区域级特征，把每个候选框投影成固定维度的视觉向量，交给模型做后续推理。这个方法对常见物体还行，但FVQA问题涉及的物体类别粒度完全不同——你需要识别出"这是红隼"，而不是"这是一只鸟"。通用检测器输出的类别概率分布里，根本不存在"红隼"这个细粒度标签，更不用说对应的深层语义特征。
后来有一批工作转向细粒度识别技术的引入，用专门的属性分类器（品牌、颜色、形状、材质）叠加在基础检测框架上，把细粒度属性向量和区域特征拼接。这些方法在特定数据集上有提升，但属性定义依赖人工标注，不同数据集属性体系不一致，迁移能力有限。
真正的转折点是预训练视觉编码器的普及。我用对比实验验证过，单靠切换视觉backbone，从传统的区域特征到预训练模型的稠密特征，一些单跳问题上的准确率能提升大约8个百分点，而且不需要额外设计细粒度辅助任务。这说明大规模数据上学到的通用视觉表征，对细粒度类别的隐含区分能力比人工设计的属性标签更全面。当然，它的缺点是你很难解释模型依靠视觉特征中的哪个部分得出答案。
4.2 问题理解和知识表示的三种范式
FVQA中的问题理解，本质上是一个把自然语言问题映射到知识查询语义空间的过程。根据实现方式，可以分出三种典型范式。
第一种是生成式向量嵌入。用一个文本编码器把问题编码为句子向量，和视觉特征向量做融合后输入答案预测模块。这个方法在简单问题上还行，但在多跳问题上表现不足，因为它缺乏中间推理步骤的显式建模。
第二种是语义图解析。把问题解析成实体节点和关系边组成的结构化语义图，通过图匹配或图对齐来完成推理。优点是对复杂问题的结构刻画能力强，缺点是解析错误会直接导致后续推理失败，整体鲁棒性差。
第三种是大模型上下文理解。把问题连同图像特征一并输入多模态大模型，模型在上下文里完成隐式推理并输出答案。这个范式最省事，目前在流畅性和答案正确率上表现也最好，但代价是你要接受它是一个"不可解释的黑盒"，而且对外部知识的应用是隐式且不可控的。
我个人的观点是，对实际工程项目来说，第三种范式加外挂知识验证是目前性价比最高的组合。虽然学术界对这类方法仍有一定争议，觉得它难以衡量真实的推理能力，但业务上能稳定产出可用结果才是硬道理。
4.3 外部知识的接入方式
FVQA本质上是"知识密集型"任务，外部知识怎么接进去，是决定技术路线的一个核心问题。我总结下来，演进路线大致有四类。
第一类是检索式接入。先用视觉识别结果和问题实体去外部知识库（比如百科类结构化数据库）中检索候选三元组，将候选知识编码为特征向量，与视觉问题特征拼接。这类方法在明确知识定位的问题上效果好，但因为要设计知识检索策略，接入成本高，而且检索结果不准确会直接影响答案。
第二类是记忆式接入。把外部知识预处理成键值对结构（key是实体名，value是属性描述），存在记忆网络中，模型通过注意力机制去记忆库中读取相关事实。相比实时检索，记忆库方式更快，但知识的更新维护比较麻烦，知识一旦变化，你得重新构建记忆。
第三类是隐式接入。依赖预训练模型在大规模语料里学到的知识，不显式加载外部知识源，好处是零成本，缺点是知识存在上限，细粒度冷门知识容易"记不住"——我测试过一个预训练问答模型，对知名公园景点的常识问题回答得很好，但问到小众材料工艺参数时，只能输出无根据的胡编内容。
第四类是生成式接入。指令微调后的多模态大模型直接根据视觉信息和问题生成答案，模型在预训练阶段已经内化了大量知识，配合各种推理技巧（比如涉及多步推理时尽量把中间结论明说出来）可以在不少场景做到很好的效果，但仍面临知识时效性不足的问题。
4.4 推理策略：单步查找与多步推理的差异
FVQA的推理机制，按需要访问知识条目的次数，可以分解成单步查找和多步推理。单步查找是"给定视觉实体标签，去知识库中找一个已知事实"，比如识别出图中是某款手机，查找该手机的电池容量。这在技术上相对简单，核心挑战在细粒度视觉识别的准确率上，推理模块本身压力不大。
多步推理则要求模型先识别第一个实体（比如一张街景图中的某品牌店铺），根据店铺名称检索出它所在的城市，再根据城市查找该店铺的营业政策。每一步推理的输入都依赖上一步的输出，误差会层层放大。我自己的实验结果显示，两步推理的准确率大约是单步推理准确率的平方量级，如果单步准确率是70%，两步大概只有49%左右。这种"误差爆炸"是FVQA多步推理的核心难题。
近期工作缓解这个问题的技术手段主要有三类：一是引入更可靠的中间校验机制，每一步推理后都用额外网络判断该步结论的可信度，可信度低就触发回溯；二是优化训练目标，像强化学习一样鼓励模型在中间步骤就给出正确结论；三是把多步推理转化为"证据排序"问题，不判单条关系，而是重排所有候选证据路径，把高置信的完整路径找出来。这些方法各有取舍，我目前更看好证据排序方案，它不依赖显式的符号推理规则，在工程上更容易落地。
5. 阅读FVQA论文的实用方法和避坑技巧
5.1 我从一篇论文里提取关键信息的方法
FVQA论文数量多，每一篇都全文精读不现实。我的习惯是建立一套"三遍阅读法"。
第一遍用5分钟扫描：看标题、摘要、图表和结论。对FVQA方向的论文来说，图表里最值得看的是对比表格，特别是"是否使用外部知识库"、"知识库规模"、"多跳评估结果"这几项。这一遍的目标是把论文归入我之前提到的技术路线分类框架。
第二遍用30分钟精读方法部分和实验设置。重点关注三个问题：知识库是如何构造的？视觉特征是从哪个backbone提取的？评估的划分方式是怎样的？这三个问题决定了我能否在自己的数据集上复现结论。我常常发现，有的论文报告的高准确率是建立在极其苛刻的候选集（比如只提供10个候选答案）上的，这种设定在实际场景中并不常见。
第三遍是动手复现关键模块，这一遍的时间不定，有时花一天有时花几周。复现时我会先跑通这个流程中的最小闭环——例如外挂知识检索方法里只保留"检测-检索-匹配"的循环，暂时不加端到端微调。最小闭环跑通了，再逐步替换视觉backbone、增加推理模块。这样能快速判断一篇论文的改进点是否真正有效。
5.2 复现时的常见坑与应对
复现FVQA论文，最大的坑在数据处理环节，这些细节论文里往往不会写得很细。
第一个坑是图像预处理尺寸和目标框设定不一致。有的论文对整图做多次裁剪扩增，有的论文只采样固定尺寸区域。同样的模型，预处理管线不一致，准确率能差出接近5个百分点。我建议先把论文的方法部分提到的所有预处理参数（分辨率、缩放策略、训练时的短边长度）记录下来，在代码里保持一致。
第二个坑是外部知识库版本问题。FVQA通常用一个第三方知识库的子集，这个子集是由数据作者自己抽取并清洗过的。如果你直接去下载完整版原始知识库再自己写抽取逻辑，得到的三元组集合可能比原版多出几千条，评估时答案候选空间变了，结果自然对不上。我踩过一次这个大坑，后来学乖了，一定优先寻找论文提供的离线知识库快照或官方数据脚本。
第三个坑是实体链接的方式。论文中常提到用某些工具做实体提及识别和链接（比如把图像检测到的牌子和问题中的某个品牌名对齐），但同一个名字在不同版本的工具里识别结果差异很大。遇到这种情况，保险之策是先用论文附带的预处理结果文件，不要在实体链接这个环节上临时更换工具版本。
第四个坑是评估时的答案规范化。不同论文对答案的case、数字格式、量词保留策略不一样。有些论文把"3只"规范化成"3"，有些会保留量词"只"。如果你用另一个论文的评估代码来复现当前论文，密切注意评估脚本里有没有正则化处理步骤，没有的话补上一个通用的答案规范化函数。
5.3 论文筛选优先级建议
要把时间花在重要的论文上，我建议结合下面几个优先级条件筛选。
优先选择同时提供明显的问题设计和外挂知识库的论文。这类工作通常控制好了"知识难度"这个变量，实验结果更可信。相比之下，只在大模型上做微调的工作虽然效果好，但很难区分提升来自模型容量还是方法设计，参考价值有限。
优先选择提供了跨数据集评估效果的论文。FVQA方向容易过拟合到单一数据集，有的论文在自己数据集上提升明显，换一个数据集就崩。提供跨数据集结果的论文，方法普适性通常更可信。我在项目中选型时，首先是看有没有两个以上数据集的实验证据，然后才看绝对准确率数字。
优先选择代码可复现的论文。这个优先级务实但很关键。FVQA涉及的数据链路过长，即使作者放出代码，想完整跑通也需要一定精力。如果论文的代码结构混乱、依赖版本模糊，很可能花了几天连依赖环境都配不齐。这种情况下，哪怕论文思路再好，也要评估清楚时间成本再动手。
5.4 复现实验的实用小工具清单
整理FVQA论文之外，我还沉淀了一套好用的复现工具箱，这里一并分享。
数据标注和实体链接这块，我常用一个开源的多模态实体检测框架，它能在图像中标注给定的实体提及并输出对应的语义描述。有了它，可以省去大量手工标注工作，但要注意它的模型语言覆盖面和数据规模有限，对中文实体的效果会明显下降。
知识检索和数据清洗，我用图数据库配合轻量级脚本的方式，把三元组导入图数据库里做子图查询。相比硬编码遍历字典，图数据库的查询效率高很多，尤其在多跳推理的场景下写查询语句非常方便。缺点是环境配置要花点时间，但一次性投入很值。
模型训练和评估，我通常在统一的深度学习框架上做，需要注意的是FVQA任务常常需要加载多种预训练权重，建议做好统一的模型注册表，避免实验时把checkpoint路径搞混，也别忘记录训练时的随机种子，方便复现结果。
6. 我对FVQA未来方向的判断
6.1 从模型能力到数据质量的回归
整理论文的后半段，我越来越明确一个感受：FVQA领域的瓶颈正在从"模型架构"转移到"数据质量"和"评估设计"上。
大部分论文的改进都可以归因为"换了一个更强的预训练backbone"或者"加大训练数据"，而这个过程中真正决定模型上限的，是外部知识库的覆盖范围、问题与答案对之间的对齐质量，以及评估时是否有效区分了"真推理"和"分布捷径"。与其追着最新的模型架构跑，不如花精力构建一套更高质量的细粒度视觉问答评测数据集——它包含严格的跨模态实体对齐、多步推理链标注、以及可信的答案证据来源。
6.2 检索增强与多模态大模型的融合
未来一两年内，我认为FVQA最有吸引力的落地路线是"多模态大模型加结构化检索证据"的组合。图像特征融入大模型的上下文，再通过外挂检索器从知识图谱或百科中把和问题最相关的事实用嵌入向量召回到上下文里，让大模型基于这些证据来回答。这套方案既能借助大模型强大的语言生成和推理能力，又通过外挂检索缓解了知识时效性和冷门知识缺失问题。
不过我在这里要提醒一个实际问题：检索器的召回质量直接决定了天花板。我试过用小规模向量库做召回，检索Top-5里真正相关的可能只有一两条，后面大模型再强也难补上。做这类系统，一定要先优化回忆质量，让评估指标也要包含"证据召回率"，而不只是答案的最终准确率。
6.3 可解释性与可信度验证
FVQA场景相比通用对话有更强的"正确答案是唯一的"特性。随着大模型答案流畅度的提升，可解释性成了能否落地的关键。用户不会满足于一个"应该是某种型号"的回答，需要系统提供类似"这是根据图中识别出的第几号物体，通过什么属性匹配，在哪个知识来源中获取到答案"这样的证据链。
这类可解释性框架，我认为会从两个路径生长出来。一条路径是在模型中显式输出推理子步骤，每一步都能对应到可读的中间结论；另一条路径是用验证网络对小样本生成答案做真伪判断，让最终答案带一个可验证的置信度标记。我所在的实践项目已经在测试第二种路径，效果还算稳定，它能过滤掉相当一部分幻觉答案，但也额外增加了一次前向推理的耗时。
6.4 对入门者的学习路径建议
如果你刚开始接触FVQA方向，我的建议是不要一上来就追最新的大模型方法。先把经典数据集下载下来，跑通一个最小的视觉问答pipeline——图片输入、问题输入、特征提取、分类输出。接着自己动手实现一个最朴素的"检测加外部知识检索"方案，哪怕结构简陋，也要完整建一遍，理解每个环节的问题。然后再去读那些方法的论文，你才能真正看出它们各自解决了哪一环的痛点。
等有了一定基线后，再集中看最近两年的论文，重点记录它们的数据集构造方式和实验对比维度。比照实验记录，你可以快速定位到最适合自己场景的方法。如果工作环境允许，也可以选一个开源项目做二次开发，把别人的模型部署起来，用自己的图片和问题类型测试边界。这个过程下来，对FVQA领域的理解会远比泛泛读论文来得扎实。
7. 总结与实践心得
整理完这一批FVQA论文，我的一个核心感受是：这个领域的方法论非常丰富，但方向已经明显分化。一部分人在走大模型泛化路线，追求在开放域问题上的流畅表现；另一部分人则坚持构建可解释的知识增强系统，用结构化的证据链换取可靠的答案。两条路线都有价值，关键是你先想清楚自己的场景对准确性、可解释性和部署成本的优先级。
我在实际项目里用的是"检索增强加验证网络"的路线，期间踩过不少坑，其中最值得提两点。第一是，如果图像里的实体在知识库中找不到完全匹配的条目，千万不要用模糊匹配强行对应，那只会引入错误知识，宁可让模型输出"无法确定"，也不要给用户一个基于错误实体猜测的答案。第二是，细粒度视觉识别错误在整个系统中的影响会被放大，在质检类业务中，一个因为误识别而检索出的错误规格信息，可能会带来很大的返工作业量，在视觉识别和知识检索中间加一层置信度阈值过滤，是最简单有效且值得的投资。
最后分享一个小技巧。当你在评估自己复现的FVQA系统时，建议把测试问题的答案来源一并标注出来——哪些答案是从视觉信息中直接得到的，哪些是从外部知识中检索的，哪些是两者结合推理的。这个分类可以帮助你迅速定位系统的短板。我自己就是这个习惯，好几次发现所谓"知识推理失败"的案例，仔细追查后，问题竟然出在答案规范化环节，和知识推理本身关系不大。
FVQA这个方向还在快速演进，论文列表也一定会继续加长。希望这篇整理笔记能帮你建立自己的技术坐标系，不管是读论文、做实验还是落地系统，都能少走弯路。
