news 2026/3/26 11:37:49

宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

宇树机器人各种炫酷的表演我们都见过,尤其是同王力宏跳舞那场演唱会,真的很震撼。

刚刚,宇树科技开源的UnifoLM-VLA-0模型,则让机器人开始走进生活。

UnifoLM-VLA-0通过独特的动作分块预测与动力学约束技术,让视觉-语言模型(VLMs)从单纯的图文理解进化为具备物理常识的具身大脑,在仅使用340小时真机数据的情况下实现了通用操作的极致泛化。

转载

,

宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

它利用Qwen2.5-VL作为基座,通过极其高效的数据策略和创新的动力学预测架构,解决了传统模型手眼不协调的顽疾,并在宇树G1人形机器人上实现了惊人的多任务通用能力。

从图文理解到具身大脑的进化

视觉-语言模型虽然能够精准地识别出一张图片里有一个红色的苹果,也能写出关于苹果的诗歌,但它们缺乏物理常识。

它们不知道这个苹果有多重,不知道捏起它需要多大的力气,更不知道如果手滑了苹果会以什么轨迹掉落。

UnifoLM-VLA-0基于开源的Qwen2.5-VL-7B,使用跨机器人和通用场景的多任务数据集进行持续的预训练,让模型继承了基座模型强大的语义理解能力,在此基础上,还生长出了对物理世界的感知力。

这种进化让机器人拥有了类似于人类的小脑直觉。

当它看到一个物体时,不再仅仅是在进行语义打标,而是在瞬间计算出物体的空间位置、几何形态以及潜在的交互方式。

它开始理解物体之间的空间关系,明白物体在受力后的运动规律。

这就是UnifoLM-VLA-0所强调的物理常识。

这种常识的注入,使得机器人不再是一个只会执行死板代码的机械臂,而是一个能够感知环境、理解物理规律并做出自适应决策的智能生命体。

UnifoLM-VLA-0确立了单一策略,多任务操作的高标准。它不需要针对每一个特定的动作(比如开瓶盖、叠毛巾)去单独训练一个模型。它用一个统一的大脑,就能应对千变万化的生活场景。

UnifoLM-VLA-0引入了空间语义增强技术。

在传统的视觉模型中,文本指令往往很难与图像中的具体像素点精确对应。

比如指令说把杯子放在桌子左上角,模型可能知道什么是杯子,但对桌子左上角这个几何概念的理解却很模糊。

宇树的团队通过继续预训练,将文本指令与2D及3D的空间细节进行了深度融合。

这种融合让模型建立起了清晰的几何坐标系,它开始能够精准地理解像素背后的三维结构,从而极大地增强了空间感知和几何理解能力。

在机器人操作中,仅仅知道要去哪里是不够的,还需要知道怎么去以及去的过程中会发生什么。

为了让机器人动得更自然、更符合物理规律,模型构建了全链路的动力学预测数据。

UnifoLM-VLA-0集成了动作分块预测(Action Chunking Prediction)技术,并引入了前向与逆向动力学约束。

这相当于在机器人的大脑中植入了一个微型的物理引擎。

在执行动作之前,模型就已经在脑海中对动作序列进行了统一建模和预演。

这种动力学建模能力让模型具备了长时序动作规划的能力。

它不仅关注当下的这一个动作,还能预测这个动作会对物体产生什么样的后续影响,以及接下来的动作该如何衔接。

这种对物理交互规律的深度理解,使得UnifoLM-VLA-0在面对复杂任务时显得游刃有余。

通过整合2D检测与分割、任务层级分解、3D目标检测以及轨迹预测等多维度的监督信号,模型实现了几何空间与语义逻辑的完美对齐,让视觉信号能够顺畅地转化为精准的动作指令。

极致数据效率与空间推理能力

宇树团队对开源的机器人数据集进行了系统化的清洗和精选。在海量的数据海洋中,他们最终仅保留了约340小时的高质量真机数据用于离散动作的预测训练。

这个数字在动辄万亿token的语言模型训练中显得微不足道,但正是这少而精的340小时数据,成为了模型掌握物理世界交互法则的关键钥匙。

通过混合使用机器人场景和通用场景的多任务数据集,它在多类任务场景下展现出了显著增强的空间推理能力。这种能力体现在模型可以进行零样本(Zero-shot)的复杂推理。

让我们通过几个具体的推理场景来感受这种能力

这种可靠的多模态感知性能,证明了UnifoLM-VLA-0已经真正具备了理解复杂物理环境的智慧。

仿真与真机实战的顶级表现

宇树团队在LIBERO仿真基准上进行了严格的测试。UnifoLM-VLA-0展现出了压倒性的优势。

UnifoLM-VLA-0在LIBERO-Object(物体操作)任务上达到了完美的100分,在LIBERO-Spatial(空间感知)和LIBERO-Goal(目标达成)上也分别拿到了99.0和99.4的高分。

即便是在最考验模型长期规划能力的LIBERO-Long(长序列任务)中,它依然保持了96.2的超高水平,最终以98.7的平均分傲视群雄,超越了包括OpenVLA、InternVLA以及π0系列在内的众多知名模型。

在宇树G1人形机器人平台上,UnifoLM-VLA-0通过构建覆盖12类复杂操作任务的高质量真机数据集,模型仅使用一个单一的策略网络(Checkpoint)就完成了对所有任务的统摄。

这12类任务涵盖了极为广泛的操作类型:

  • 双臂协作整理桌面:需要左右手配合,理解物体的相对位置。

  • 收纳铅笔盒:这包括了拿起笔盒、放入背包、最后拉上拉链这一系列精细的连续动作。

  • 倒药片:打开药瓶盖并将药片倒入盒子,这需要极高的手部稳定性和对微小力度的控制。

  • 叠毛巾:这是典型的柔性物体操作,机器人需要理解毛巾的形变,将其铺平并折叠成方块。

  • 整理文具:调整笔盒位置,将笔和橡皮放入,然后关上盒子,考验的是对多种不同形状物体的适应性。

  • 收纳乒乓球拍:拿起球拍放入拍套,合上盖子并拉好拉链,涉及刚性物体与柔性容器的交互。

  • 水果分类:将西瓜放在粉色盘子,香蕉放在黄色盘子,牛油果放在绿色盘子,这是对语义理解与颜色形状匹配的综合测试。

  • 积木堆叠:按照特定顺序(红底、绿中、黄顶)堆叠积木,考验的是序列规划和精准放置。

  • 工具归位:将桌面散乱的工具放回洞洞板和杯子里的指定位置,需要极高的定位精度。

  • 擦拭污渍:拿起抹布擦除桌面的液体,这需要机器人根据视觉反馈动态调整擦拭的轨迹。

  • 擦黑板:拿起板擦清理黑板,同样是基于视觉反馈的覆盖性操作。

  • 桌面综合整理:对桌面上杂乱的物品进行整体的分类和摆放。

在执行这些任务时,UnifoLM-VLA-0展现出了极强的鲁棒性。

即便在执行过程中受到外部的人为干扰(比如轻轻推一下机器人的手臂),它也能迅速调整姿态,继续稳定地完成任务。

这种抗干扰能力是机器人走出实验室、进入家庭服务场景的必备素质。

UnifoLM-VLA-0为具身智能的研究者提供了一个高标准的参考范本。

参考资料:

https://unigen-x.github.io/unifolm-vla.github.io/

https://github.com/unitreerobotics/unifolm-vla

https://huggingface.co/unitreerobotics/models

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/23 17:02:38

写作压力小了!最强的AI论文写作软件 —— 千笔ai写作

你是否曾为论文选题发愁,反复修改却总对表达不满意?是否在深夜面对空白文档无从下笔,又担心查重率过高?论文写作不仅是学术能力的考验,更是时间与精力的拉锯战。对于研究生而言,这是一段充满压力的旅程。而…

作者头像 李华
网站建设 2026/3/15 13:00:38

开题报告老年医疗保健管理系统

目录老年医疗保健管理系统概述核心功能模块技术实现应用价值项目技术支持可定制开发之功能亮点源码获取详细视频演示 :文章底部获取博主联系方式!同行可合作老年医疗保健管理系统概述 老年医疗保健管理系统是为应对老龄化社会需求设计的数字化平台&…

作者头像 李华
网站建设 2026/3/24 9:32:41

2026毕设ssm+vue农家乐客户管理系统论文+程序

本系统(程序源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。 系统程序文件列表 开题报告内容 选题背景 关于乡村旅游信息化管理问题的研究,现有研究主要以传统酒店管理系统或单一功能旅游平台为主,专门针…

作者头像 李华
网站建设 2026/3/15 23:39:52

2026毕设ssm+vue农户自产自销线上农产品超市论文+程序

本系统(程序源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。 系统程序文件列表 开题报告内容 一、选题背景 关于电商平台管理系统的研究,现有研究主要以大型分布式架构(如Spring Cloud、Dubbo微服务架构&…

作者头像 李华