news 2026/10/14 3:26:52

阿里:多模态视觉与推理分开优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
阿里:多模态视觉与推理分开优化

📖标题:Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning
🌐来源:arXiv, 2609.35228v1

🛎️文章简介
🔸研究问题:在多模态大模型推理时,现有的测试时计算方法通常对所有隐藏状态使用统一的全局奖励信号,这忽略了不同Token有的负责看图解图(感知),有的负责逻辑判断(推理),导致优化方向混乱,如何精准地针对不同角色的Token进行差异化优化?
🔸主要贡献:论文提出了一种名为TD-LTTS的框架,在推理阶段将视觉反馈路由给对图像敏感的Token,将推理反馈路由给高不确定性的Token,实现了角色感知的潜变量精细化调整。

📝重点思路
🔸角色识别与分流:首先让冻结的多模态模型生成初始思维链,然后分析隐藏状态。通过测量Token对图像扰动的敏感度来识别“视觉Token”,通过计算输出分布的熵值来识别“推理Token”,其余Token作为锚点保持不变。
🔸双路奖励机制:设计了两套独立的奖励信号。视觉奖励基于注意力机制衡量模型对图像内容的关注程度;推理奖励基于答案质量和相对优势评分。
🔸定向优化更新:路由决定每个隐藏状态向量应该被哪个奖励的梯度来更新,避免信号互相干扰,同时引入锚点正则化防止偏离初始轨迹太远。

🔎分析总结
🔸性能显著提升:在Qwen2.5-VL和InternVL3.5等多个主流多模态模型上,该方法在感知类和推理类基准测试中均优于标准的思维链提示及现有的测试时缩放基线,平均准确率提升显著。
🔸组件有效性验证:消融实验证明,如果移除视觉或推理任一奖励分支,或者取消Token的角色路由(随机分配),性能都会下降,证实了“分而治之”策略的必要性。
🔸计算效率均衡:在相同的解码候选预算下,该方法比传统的输出空间采样重排序更高效,因为它直接修正了驱动后续生成的内部状态,而非仅仅从多个结

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/14 3:26:33

梯控门禁控制器参数解析与智能场景落地指南

在智慧楼宇的改造项目中,电梯控制系统往往是最容易被忽视却又至关重要的环节。很多项目初期只关注门禁或监控,等到实际运营时才发现,早晚高峰的梯控响应延迟、老旧线路的电压波动导致设备重启,甚至是消防联动时的逻辑混乱&#xf…

作者头像 李华
网站建设 2026/10/14 3:26:21

轻量级前端发型插件 ponytail:人脸关键点检测与图像合成实操解析

前阵子有个插件叫“ponytail”,在开发圈和内容创作的小圈子里突然被频繁提到。搜索热词能看到很多人在问“ponytail 插件如何使用”,但能查到的资料七零八落,官方文档又写得过于简略。我自己在项目里从零开始接入、调参、踩坑,用了…

作者头像 李华
网站建设 2026/10/14 3:25:55

ChatGPT dots 实战指南:从交互点到自动化工作流

1. 从“点一下”到“操碎心”:ChatGPT dots 的真实定位第一次看到“ChatGPT dots”这个说法,很多人会愣一下——dots,点?是界面上的小圆点,还是某种隐藏功能?其实在圈子里,dots 更多是一种口语化…

作者头像 李华
网站建设 2026/10/14 3:25:31

【用于更准确 G×E 基因组预测的大规模作物数据集与基于深度学习的多模态融合框架】论文学习

用于更准确 GE 基因组预测的大规模作物数据集与基于深度学习的多模态融合框架 文章目录0.摘要1.简介2.材料与方法2.1.我们大规模数据集的构建2.2.我们的多模态融合框架2.3.基准方法3.实验结果3.1.实验设置3.2.预测精度比较3.3.环境变量的影响3.4. 可解释性分析4.讨论5.结论代码…

作者头像 李华
网站建设 2026/10/14 3:25:31

MySQL 从入门到实战(01):MySQL 是什么——从「为什么需要数据库」讲起

MySQL 是什么:从「为什么不用文件存数据」讲起 本篇是导论篇(无代码),只讲清「为什么需要 MySQL」和「它在技术栈里的位置」。 从第 02 篇开始动手,所有命令均在本机 MySQL 8.0.46 实测。 一、为什么不能用文件存数据 很多人第一次存数据是这样开始的: # 用 JSON 文件存…

作者头像 李华
网站建设 2026/10/14 3:25:30

MySQL 从入门到实战(05):InnoDB 内存架构——Buffer Pool 与刷盘

InnoDB 内存架构:Buffer Pool 与刷盘 本篇所有参数与状态在本机 MySQL 8.0.46 实测。 核心问题:为什么 MySQL 能做到「内存级」的查询速度? 答案全在 Buffer Pool。 一、为什么先讲内存架构 第 06 篇要讲 B+ 树索引,但索引本身也是存在磁盘上的。如果每次都从磁盘读索引,…

作者头像 李华