多模态语境下的句子可接受度预测：从理论到工程实践

做语言学研究的人，大多对“句子可接受度判断”不陌生。说白了，就是让一群母语者盯着一串句子，按“这话顺不顺嘴”打分。这类数据是句法理论、语料筛选和语言模型评测的基石，但我这次做的项目，和传统做法有个关键差异：每个句子都不再单独出现，而是配上一张图像，让标注者在“句子+图像”的整体语境里给出可接受度分数。项目标题直译过来是“在多模态语境中预测句子可接受度判断”，它是一个跨心理语言学、计算语言学和多模态机器学习的交叉任务。

这个任务解决的痛点很直接：人说话从来不发生在真空里。你说“屋里有点冷”，对方之所以能理解你在暗示关窗，靠的正是周围场景提供的线索。如果让模型只对着孤零零的句子预测判断分数，它永远学不会“语境可以挽救一个出格的句子”这件事。这个项目就是要把视觉语境作为显式输入，训练一个系统在给定句子和图像的情况下，复现以人为参照的可接受度打分。

适合谁参考？一类是做心理语言学实验、想给判断数据做自动预测的人；另一类是做多模态NLP或智能内容评估，想建模“图像和文本是否搭调、是否自然”的人。后面几节的内容会从实验设计一路讲到模型训练、指标与踩坑，尽量以能直接复现的方式展开。我不打算写成教科书，写的是我从这套流程里摸出来的实际经验。

1. 这个任务到底在预测什么

1.1 可接受度不等于语法性

要预测一个东西，先得知道它到底是什么。可接受度最容易被误解成另一个词：语法性。语法性是一个形式概念，它只看句子是否符合句法规则；可接受度则宽松得多，它衡量的是母语者整体的自然感，句法、语义、语用、处理成本统统算进去。

举几个例子就明白了。“The apple listened to music”这句话语法上挑不出大毛病，主谓宾齐全，但苹果不能听音乐，这是语义选择限制出了问题，母语者会打低分。“The student who the professor who the dean met laughed”这种多层嵌套关系从句，语法可分析，但短时记忆很快就被压垮，多数人读第二遍才勉强跟上，直觉判断同样低。还有一类更隐蔽：句子本身合法，放在某个场景里就是不对劲。比如对着一张温度表显示26度的密闭房间照片说“屋里真冷”，听话人会困惑，因为你说的冷和画面能观察到的状态对不上。

所以不能把可接受度当成二进制标签，它是一个连续的、多因素共同决定的主观量。预测模型如果只学会句法违规检测，碰到语义和语用驱动的低分句子就会翻车。这也是我在设计语料时特别警惕的一点：不能只挑“syntax violation”一类样本，否则模型做的是句法错误分类器，而不是可接受度预测器。

为什么要做预测？三个应用场景很实际。第一，语料和实验筛选：做语言学实验前要过一大批候选句，人工逐个判断又慢又不稳定，自动预测当预筛器可以省下大量标注预算。第二，NLP系统评测：图像描述、多模态对话生成系统经常产出“句法对、语境不对”的句子，可接受度判断可以作为自动指标的一部分。第三，科学建模：可接受度是认知语言学的经典因变量，能预测它意味着模型捕捉到了人类语言处理的某些规律，这对理论本身也有反哺。

1.2 多模态语境让判断发生什么变化

多模态语境的重要性，用一个例子就能说清楚。句子 “It's cold in here” 单独看，中规中矩，可接受度中等偏上。给它配上两种图像：一种是房间窗户大开、暖气没开，另一种是房间密闭、温度表显示26度。前者图像加固了句子的信息，判断会升高；后者图像与句子语义冲突，人反而会开始想“你到底在说哪里的冷”，可接受度下降。

再看 “He is feeding the birds” 配上一个人撒面包屑给鸽子的图，和配上一个人举着鸟笼的图。后者让句子产生了“为什么是喂鸟？直接人鸟乱喂了？”这类额外解读，分数就变了。语言的语义不是无中生有的，它需要世界知识做支撑，而图像正是“场景支持”的天然来源。传统可接受度实验把句子孤立呈现，其实丢掉了一大部分真实语言理解过程中存在的信息。

任务定界要清楚：输入不是“文本加任意图像”，而是“文本加与该文本语义相关或对抗的视觉场景”。输出是一个连续分数或排序。这跟图生文任务完全相反，那里是从图像生成文本，我们则是判断给定组合是否被母语者接受。

这个任务真正的难点有两个。第一，多模态语境的影响是调节性的，不是相加性的。图像出现有时把分数推高，有时压低，有时根本不起作用，模型得学会动态判断，而不是学一个固定的“加几分”。第二，标注本身主观性强、个体差异大，如果实验设计不严格，模型学的全是标注噪音。这两个难点贯穿了后面所有环节，数据、模型、评估都必须围绕它们展开。

2. 数据和标注：实验设计是灵魂

2.1 语料选什么：别只堆句法违规句子

语料构成上，我建议同时包含三类来源。第一，从已有公开可接受度数据集里抽句子，这类句子有现成的标注基线可以做交叉参照。第二，自己构造的句子，用来补上公开集覆盖不到的维度，比如语用依赖句、语义选择限制冲突句。第三，少量完全自然的真实语料句子，保证分数分布不会被人为拉偏。

经验是句子总数不用贪多。我最终用了大约220个句子，关键是结构上覆盖语法违规、语义怪异、语用冲突、歧义触发、以及与图像强相关的物体动作描述这几类。这比简单堆600个“只违反一条语法规则”的句子有价值得多。因为后者模型学到的其实是某种句法错误检测器，一遇到语义和语用驱动的样本就露馅。

还有一点：句子长度要拉开。全用短句会让模型偷懒，只靠词汇局部特征打天下，因为短句里很少出现需要全局整合的句法结构。我当时特意保留了一批中长句，让模型必须真正编码整句信息。

2.2 图像怎么配：匹配、冲突、无关三件套

图像构造是这套设计里最容易翻车的地方。每个句子我只配三到四张图：一张强匹配图、一张强冲突图、一张中性无关图，有时加一张部分匹配图。强匹配图指图像内容能提供句子所述事件的动作主体、受事或场景道具；强冲突图指在关键实体或动作上与句子相悖；中性无关图指跟句子里任何实体都没交集的生活场景。

这里有一个关键的邻接注意点：不要让“冲突图”变成“完全离谱图”，否则标注者会因为图像太出戏而打低分，分数不是因为句子本身，而是因为图像诡异，这种混淆非常要命。比如句子 “A boy is riding a bike” 的冲突图选“一个男孩在开车”，比选“宇航员在太空漂浮”更可控，前者只需要推翻一个谓词，后者引入了太多额外解释，你很难知道标注者到底在拒绝什么。

图像来源也要统一。我当时用的是一个场景图片库，把分辨率统一到固定尺寸，避免图像清晰度、色调、画面主体大小这些无关因素干扰判断。你会发现标注者对“图像好不好看、清不清楚”极其敏感，如果不统一，这部分噪音最后都会变成模型误差。

数据规模可以参考：220句乘每句约4图，得到880个“句子-图像对”，每个对至少标注5次，就是4400条以上原始判断。这个规模对可接受度研究够用，模型复杂的话建议至少凑到600对。再少，多模态融合部分就比较容易过拟合了。

2.3 标注协议和质量控制

量表选择上用7点Likert，配文字锚点：1是完全不可接受，4是边缘，7是完全可接受。也有同行用4点甚至二分，但既然任务是预测程度，7点是信息量和判断成本之间比较好的折中。4点损失了中间梯度，二分则完全丢掉程度信息。

标注者范围限定为英语母语者。每个句子-图像对至少5个标注者，取中位数作为样本标签，这个细节很重要。均值容易受单个极端值影响，中位数稳健得多。在正式标注前，先跑一小批练习样本，把指导语里的正反例确认清楚。不同人对“可接受”的理解差异很大，有人当“语法对不对”，有人当“我平时会不会这么说”，指导语不锚定的话，数据分布会很乱。

质量控制要硬。我每批任务插入验证题，验证题是那种没有争议的极端样本。标注者如果验证题错误率超过某个阈值，比如20%，整个批次作废。完成时间也要监控，一个样本少于3秒基本就是随机点，同样要筛。一套流程走下来，可用样本比例从八成降到七成左右，但留下来的数据质量提高很大。这波取舍是值得的。

一致性报告：记录每个句子-图像对的标准差和标注者间的一致性系数。我当时算出来的卡帕系数在0.55上下，属于中等偏上。有一点必须提醒：卡帕这类指标永远受量表和样本异质性影响，不要拿自己的数值去跟采用不同量表的研究硬比。

2.4 划分策略与防泄漏

这里藏着全项目最大的一个坑：不能把“句子-图像对”直接随机分成训练、开发、测试。同一个句子的不同图像对，如果同时出现在训练和测试里，模型只要记住原句的基准分数，图像层面稍微外推一下就能“作弊”，测试结果会虚高得非常好看，但实际上什么都没学会。

正确做法是按句子分组划分：同一个句子配的所有图像必须同属一个折。如果你的图像素材本身来自一个更大的场景库，还要再考虑图像层面的聚类泄漏，同一个房间的不同角度照片不能一半在训练一半在测试。我当时按“图像场景ID”做了二重分组的约束，训练、开发、测试都保证没有同场景交叉。

另一个小细节：标注顺序要乱序。不要让标注者连续看到同一个句子太多遍，否则容易诱发策略性打分，上一题的印象会带到下一题。我当时把同句子的不同图像对打散排列，并且保证每个标注者看到的句子集来自不同条件，尽量抹掉顺序效应。

3. 模型怎么搭

3.1 先做纯文本基线

起步别直接上多模态。我强烈建议先搭纯文本基线：文本编码器取句子向量，后面接一个两层MLP回归头，目标学的是人工判断的中位数。这个基线有两大作用：一是给任务难度定个标尺，二是让你知道这个数据集的分数信号到底有多少是文本本身能解释的。

如果纯文本基线已经很高，说明大部分样本靠句子就能判断，视觉部分的增量空间会非常有限。这种情况下你得在设计上专门准备“必须看图才能判断”的样本，否则后面做融合实验只会得到一个“费力不讨好”的结果。

我当时跑出来的纯文本基线，预测分与人工中位数的相关系数大约在0.65量级。这个数不差，但也说明确实有一批样本需要视觉内容帮忙。这种“文本搞不定、看图才懂”的样本主要来自语义选择和语用依赖两类句子，它们是多模态增益的重要来源。

3.2 融合架构：从简单拼接到我最终用的门控

多模态模型的基本框架是双塔：文本侧用一个预训练Transformer编码器，取[CLS]位的表示作为句子向量；图像侧用一个预训练视觉编码器，输出图像特征。之后两路特征进入融合模块，再过MLP输出预测分数。

最简单的融合是拼接，直接把句子向量和图像向量串起来进MLP。但实测下来，普通拼接有个明显问题：它给文本和视觉信号分配了固定的权重通道，模型很难学会“当图像无关时自动忽略它”。可接受度判断恰恰经常出现这种情况，中性无关图就应该对预测没有贡献，拼接结构做不到动态开关。

于是我换成了门控融合：先学一个开关向量，决定最终特征里文本和视觉各占多少。这个设计的直觉很直接：不同样本对视觉的依赖程度不同。匹配图和冲突图应该提高视觉权重，中性无关图应该让开关接近0，完全退回文本判断。门控在实验里确实比拼接好，特别是在中性无关图上，预测行为更接近人。

更强一点的方案是跨模态注意力：把文本token和图像区域特征串起来做多头自注意力，让文本去检索图像里的相关区域，图像也能给文本中的歧义词加权。这个方案表现更好，但训练成本和数据需求都更高。数据规模小的时候，我建议先上门控，别急着上复杂注意力，否则过拟合得很惨。

3.3 训练细节与参考参数

训练时的配置我整理成了一张表，这是基于我实验的相对稳定设定，你可以按自己数据规模调整。

有两点值得展开说。第一，为什么要用Huber loss而不是MSE。可接受度打分里偶尔会出现极端的离群标注，中位数虽然已经消掉一部分，但标签分布尾部仍然偏厚，Huber对大误差的惩罚比MSE温和，训练会更稳。第二，学习率为什么分两层。预训练参数如果给太大，会把学好的语义表征冲掉；融合头是随机初始化的，需要相对大的学习率才能快速到达合理位置。这种分层学习率是多模态微调的基本操作。

另外，图像增广我当时试了轻度随机裁剪和水平翻转，但很快就发现要谨慎。强匹配图翻转后可能变成不合理场景，比如文字、方向敏感的图会被水平翻转破坏语义。我最后只在部分轮次加了轻度裁剪，翻转干脆放弃，因为收益不稳定。

4. 怎么衡量效果

4.1 合适的指标组合

可接受度预测本质上是回归任务，但评价时我建议同时看三个指标，不要只盯一个。

Pearson相关系数衡量预测和人工打分的线性相关性，反映趋势强弱。Spearman等级相关系数衡量排序一致性，因为量表本身是有序的，排序一致比数值绝对精确更接近人的直觉。MAE是绝对误差，单位就是量表分，好解释，能直接告诉你平均偏了多少分。

只看相关系数远不够。一个系统所有输出都比真实值高1分，相关系数照样很高，但绝对误差很难看。反过来，MAE好看不代表排序对，比如模型把所有样本都压到4分附近，MAE可能不差，但你想要的高分低分区分度完全没有。

另一个很实用的习惯：报告人类标注者自身的split-half信度。把一批样本的标注者随机分成两组，分别取中位数，再算两组中位数的相关系数，这个值就是你这个任务在数据层面的预测上限。模型表现离这个上限越近，说明越接近“人本身的一致性水平”。这个数字摆出来，你的预测效果才有参照系。

4.2 消融实验的正确打开方式

消融实验最少要做五组：完整多模态模型、去掉图像塔、去掉文本塔、随机图像、固定视觉特征不微调。完整模型和纯文本的对比是核心，但真正有价值的是另一个对比：完整模型对随机图像模型。如果两者几乎一样，说明模型根本没利用图像内容，只是靠文本在答题；随机图像降到接近纯文本水平，才说明视觉塔确实在起作用。

我当时做的消融结果大概是下面这种感觉：

增幅在0.05到0.08之间，按可接受度这种高主观性任务的常态来说，算得上有效果。解读时一定要强调：增益不是均匀分布在所有样本上的，而是集中在那批“句子一般、靠图像挽救或破坏”的样本上。所以除了整体指标，我强烈建议把测试样本按匹配、冲突、中性无关分组拆开算指标。我当时的结果是增益集中在匹配组和冲突组，中性组几乎没变化，说明门控在那里把图像权重压低，这与人的判断行为一致。

4.3 不是只看总分：分组分析与人类一致性

除了模型自身对比，还要把模型放进“人类判断的分布”里看。方法是这样：把模型预测和单个标注者的判断放在一起，计算“模型-标注者”的一致性，再和“标注者-标注者”的一致性对比。模型的理想状态，是预测结果落在人类判断分布之内。

我当时有一个发现：可接受度的中间区域，也就是4分附近，模型误差最大，人类标注者方差也最大。这说明这个区域本身信号就弱，模型做不到比人更稳定是很正常的。如果业务场景更关心高低两端，任务完全可以退化成二分类，准确率会高不少。

分组分析的另一个用途是调试。如果你的模型在冲突图上的表现明显不如匹配图，说明模型可能只是学会了“图里有什么物体就往上靠”，没有真正学会“图文矛盾会降低可接受度”。这时候拿分组错误率去反推模型行为，改融合结构，比对着总分瞎试要高效得多。

5. 踩过的坑和排查技巧

5.1 多模态模块不工作的排查

最让人崩溃的结果是：模型训完，一看效果和纯文本基线没差别。先别急着怀疑视觉没用，按下面这个顺序排查。

第一，看随机图像基线。随机图跟纯文本一样低，说明融合头没有真正利用图像内容，问题多半出在视觉特征没有传进来。第二，看门控分布。如果强匹配图上门控权重也不高，视觉特征可能没有有效进入预测，常见原因是视觉塔冻结太死，或者图像侧学习率太低。第三，看数据构成。如果大量样本靠句子本身就能判断，模型会走捷径只靠文本通路，这时候需要补充“弱文本、强图像”样本，比如依赖场景才能判断的语用句。第四，看损失收敛情况。有时融合层学习率太高，MLP直接锁死在只用文本特征的局部最优上，把融合层学习率降一级，或者给门控加一点L2正则，往往能解决。

这个排查顺序我写成表格，方便对照。

5.2 标注和划分过程里最容易翻车的地方

标注者理解偏差是第一大坑。我在第2章提过，不同人对“可接受”的理解差异很大，指导语里必须给足锚点和正反例。第二是任务顺序效应，同一图像出现在多个句子前，标注者会被上一次判断影响。这个没法完全消除，但至少把顺序打乱，让每个标注者看的句子集来自不同条件。

第三是数据泄漏。按句子分组和按场景分组这两层约束缺一不可。只按句子分，同场景不同照片可能跨折；只按场景分，同一句子的不同图像对又可能跨折。我当时写代码时专门做了一次重叠检测，遍历所有样本对，确保没有train和test出现同句同场景的组合。这一步虽然笨，但真的能救命。

5.3 如果重做一遍，我会怎么收敛

如果让我一句话总结给后来者：先跑通纯文本基线，再做消融分组分析，最后才调花哨的融合模块。多模态可接受度判断这个任务很容易陷入“模型比人复杂很多，效果却只提升一点点”的尴尬，但只要你把分组分析和可视化分析的功夫下足，这个小提升会非常有说服力。

数据规模不够大时，多用冻结特征和轻量融合，别一上来就端到端微调整个双塔。门控融合作为默认方案是我个人的偏好，它简单、可解释、不容易过拟合，效果又够用。

最后分享一个小技巧：在正式标注前，用现成的多模态一致性打分器把句子-图像对扫一遍，挑出分数分布比较离散或有争议的样本优先标注。这样能把有限的标注预算花在模型最需要的边界样例上，比均匀标注高效得多。这个习惯后来被我带到了很多其他项目里，都还挺好用的。