📖标题:Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning
🌐来源:arXiv, 2609.35228v1
🛎️文章简介
🔸研究问题:在多模态大模型推理时,现有的测试时计算方法通常对所有隐藏状态使用统一的全局奖励信号,这忽略了不同Token有的负责看图解图(感知),有的负责逻辑判断(推理),导致优化方向混乱,如何精准地针对不同角色的Token进行差异化优化?
🔸主要贡献:论文提出了一种名为TD-LTTS的框架,在推理阶段将视觉反馈路由给对图像敏感的Token,将推理反馈路由给高不确定性的Token,实现了角色感知的潜变量精细化调整。
📝重点思路
🔸角色识别与分流:首先让冻结的多模态模型生成初始思维链,然后分析隐藏状态。通过测量Token对图像扰动的敏感度来识别“视觉Token”,通过计算输出分布的熵值来识别“推理Token”,其余Token作为锚点保持不变。
🔸双路奖励机制:设计了两套独立的奖励信号。视觉奖励基于注意力机制衡量模型对图像内容的关注程度;推理奖励基于答案质量和相对优势评分。
🔸定向优化更新:路由决定每个隐藏状态向量应该被哪个奖励的梯度来更新,避免信号互相干扰,同时引入锚点正则化防止偏离初始轨迹太远。
🔎分析总结
🔸性能显著提升:在Qwen2.5-VL和InternVL3.5等多个主流多模态模型上,该方法在感知类和推理类基准测试中均优于标准的思维链提示及现有的测试时缩放基线,平均准确率提升显著。
🔸组件有效性验证:消融实验证明,如果移除视觉或推理任一奖励分支,或者取消Token的角色路由(随机分配),性能都会下降,证实了“分而治之”策略的必要性。
🔸计算效率均衡:在相同的解码候选预算下,该方法比传统的输出空间采样重排序更高效,因为它直接修正了驱动后续生成的内部状态,而非仅仅从多个结