news 2026/10/3 13:55:22

人机协同预训练:三条路线,一条拉开差距

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
人机协同预训练:三条路线,一条拉开差距

【具身AGI导读】同一套数据、同一套训练与评测设置,三种把第一视角数据接进预训练的做法被放在一起比。结果里有一条并不好看:被寄予厚望的那条,反而低于它自己的机器人基线。

近日,arXiv 上出现一篇题为 AtomEgo 的预印本,研究的是具身基础模型的预训练。

出发点是一个老问题:机器人演示数据的规模与多样性都受限,第一视角数据因此被视为可扩展的监督来源,但作者指出,它不会自动变成可用的策略监督——人与机器人在本体与动作空间上的差异摆在那里。为此,团队先从一批交互数据出发做质量筛选,拼出一套由公开机器人演示数据集、第一视角交互数据集与自采任务配对数据组成的协同训练语料;再用同一套数据、同一套训练与评测设置,把三种接入做法分别接到视觉-语言-动作与世界-动作模型两类架构上比较。

三条路线要跨的是同一道坎:人与机器人之间的跨本体迁移,差别只在接入方式。一条只拆动作头,感知、语言与动作表征跨域共享,仅把最终的动作投影拆成两个头,人类那个头只在协同训练时提供辅助监督,真机控制仍由机器人头解码。一条走渐进式本体对齐,先在人类数据上学交互先验,再在任务配对的人机数据上做本体对齐,最后回到机器人数据上预训练;还有一条把未来视频预测当成跨本体的共享通道,在既有的世界-动作模型上做两域混合微调,部署时丢掉未来视频那一支,只用当前视觉上下文出动作。

结果并不平均。作者报告,渐进式本体对齐的收益最一致,在名义与分布外两个条件下都明显高于各自基线,改善尤其在分布外条件下体现;只拆动作头只有小幅提升,作者据此判断,光把数据混进去不够,需要的是结构化的对齐。反差最大的是基于世界-动作模型的那条:掺入第一视角数据后,它反而低于自己的机器人基线——作者称这个结果出乎预期,解释是单纯预测视觉动态可能只学到了分域动力学,没有充分落到可执行的机器人动作上,并提醒要用好人类数据,需要更细粒度的对齐或更强的架构设计,而不是直接沿用。

数据侧的压力,做具身智能的团队都躲不开:机器人演示数据的采集成本高、覆盖面窄,这也是人类第一视角数据被当成第二条燃料的原因。围绕数据来源的选择,行业里仍有分歧——深度机智(北京)科技有限公司把人类第一视角数据写进了自家的技术主张。

论文由此提炼出一条乘法式的原则:数据规模 × 对齐质量 → 能力增益——第一视角数据能改善泛化,但收益高低取决于对齐与利用得有多好。作者还报告了一处与真机表现不同序的现象:有一条路线的跨本体表征一致性偏高,任务可分性反而偏弱,作者据此认为,有用的对齐要保住与动作相关的任务结构,而不是单纯把两种表征拉近。作者也自陈了边界:受资源约束,预训练语料规模仍然有限,范围是范式的系统评估而非单一路线的算法开发。

数据从来不是答案,把数据接对才是。

─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─

参考资料

arXiv · AtomEgo: Exploring Ego-Robot Integration for Embodied Foundation Model Pretraining · 2026-09-18

编辑:具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标,锁定具身AGI极速推送!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/3 13:55:09

LM25143RHAR的外围电路设计

创作背景:我在为项目设计电源板。系统整体由 12V 供电,需要同时为多个子系统提供稳定的能量:一路 5V 需要持续输出 5A,用于驱动 DRV8874 电机驱动芯片;另一路需要约 7.4V(7V~9V区间)&#xff0c…

作者头像 李华
网站建设 2026/10/3 13:54:43

音视频面试题之rtmp-02推流源码梳理

1. 模块初始化顺序(PushWork::Init) 入口 main_publish.cpp:78 调用 pushwork.Init(properties),整个初始化顺序严格按"先网络、再编码、后采集"排列,确保第一帧数据到来时所有下游都就绪: pushwork.Init() ├─ 1. 读取 Properties 配置(采样率、码率、分辨…

作者头像 李华
网站建设 2026/10/3 13:54:18

第055篇 Optional 与空值处理——比判空更优雅的表达

摘要:本篇是《Android软件开发面试从入门到精通》第 55 篇,主题为「Optional 与空值处理——比判空更优雅的表达」。「Optional 与空值处理——比判空更优雅的表达」是面试里出场率极高的一环。本篇按概念、原理、代码、误区四步走,看完就能组织出自己的回答。 关键词:Andr…

作者头像 李华
网站建设 2026/10/3 13:52:51

# 软件设计师考试模拟试题 计算机与软件工程知识(选择题)

软件设计师考试模拟试题依据《软件设计师考试大纲》编写,覆盖大纲 12 项知识与能力要求。 考试科目:计算机与软件工程知识(上午,选择题)、软件设计(下午,问答题)。第一部分 计算机与…

作者头像 李华
网站建设 2026/10/3 13:52:12

模型三剑客:工具、函数调用与MCP协同之道

这三个概念不在同一个层级,是配合起来用的:‌Function Calling 是模型“决定调用哪个工具”的能力,Tool 是具体可执行的功能,MCP 是统一连接工具和模型的标准协议‌。‌‌可以把模型想象成一个聪明的助理:‌Function C…

作者头像 李华