news 2026/9/15 5:30:26

斯坦福大学李飞飞教授团队最新成果,针对具身差异,从零成本视频生成用于交互的3D物体流

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
斯坦福大学李飞飞教授团队最新成果,针对具身差异,从零成本视频生成用于交互的3D物体流

Dream2Flow,

简单来说,生成式视频模型能根据文字指令 + 初始图像,

“想象” 出人类完成任务的视频(像把面包放进碗),

但机器人看不懂这些人类动作,

没法把视频里的人类操作转化为自己的机械臂 / 关节运动指令,

毕竟机器人不知道怎么动机械臂才能复刻视频里的动作。

Dream2Flow解决的就是,构建视频想象和机器人执行的桥梁,让机器人不用专门训练(零样本),

就能跟着视频模型的 “想象”,

完成对各种物体(硬的、能动的、软的、颗粒状的)的操控,不用依赖特定任务的演示数据。

arxiv 2512.24766

Dream2Flow 利用现成的视频生成模型,在机器人所处的同一场景中生成任务执行过程的视频。

随后,该框架从视频的运动信息中提取 3D 物体流,支持机器人在多种任务中进行下游规划与执行。

示例任务:打开烤面包机、拉开抽屉、将面包放入碗中、将马克杯放入绿色碗中、将 T 型块推至中心、拉出椅子、回收易拉罐、清扫意大利面、打开烤箱、用围巾盖住碗、将面包放入碗中。

摘要:

生成式视频建模已成为一种极具潜力的工具,能够针对开放场景操控任务,对合理的物理交互过程进行零样本推理。然而,如何将这类由人类主导的动作转化为机器人系统所需的底层动作指令,至今仍是一项难题。研究发现,当输入初始图像与任务指令时,这类模型能够出色地合成合理的物体运动轨迹。基于此,我们提出了 Dream2Flow 框架,该框架以3D 物体流

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/13 5:30:23

使用vLLM加速HunyuanOCR推理性能的实操步骤

使用vLLM加速HunyuanOCR推理性能的实操步骤 在当前AI多模态应用快速落地的大背景下,如何让高性能OCR模型既“跑得快”又“省资源”,成为工程团队关注的核心问题。尤其是在文档自动化、跨境商品识别、智能客服等高频场景中,用户对响应速度和系…

作者头像 李华
网站建设 2026/8/22 14:05:14

UltraISO制作系统启动盘时如何加入HunyuanOCR运行环境?

UltraISO制作系统启动盘时如何加入HunyuanOCR运行环境? 在企业现场、政府机房或跨国物流仓库中,常常会遇到这样的场景:需要快速处理大量纸质文档,但设备无法联网、不允许安装软件、甚至操作系统都不完整。此时,如果有…

作者头像 李华
网站建设 2026/9/3 9:40:15

Dify低代码平台连接HunyuanOCR实现智能文档处理工作流

Dify低代码平台连接HunyuanOCR实现智能文档处理工作流 在企业数字化转型的浪潮中,如何高效地将纸质文档、扫描件乃至视频字幕转化为可被系统理解与处理的结构化数据,正成为金融、政务、教育等行业共同面临的挑战。传统OCR方案往往依赖多个独立模型串联运…

作者头像 李华
网站建设 2026/9/8 16:42:09

哈希表的核心问题在于高效地将关键字映射到存储位置并妥善处理冲突

哈希表的核心问题在于高效地将关键字映射到存储位置并妥善处理冲突。构造良好的哈希函数能显著减少冲突概率,而合理的冲突处理机制则确保在发生冲突时仍能快速找到可用地址。 一、哈希函数的构造原则 压缩性:将大范围的关键字压缩到较小的地址空间&#…

作者头像 李华
网站建设 2026/9/8 23:46:41

哈希表是一种基于哈希函数实现的高效数据结构,用于实现“键-值”对的快速插入、查找和删除

哈希表是一种基于哈希函数实现的高效数据结构,用于实现“键-值”对的快速插入、查找和删除。其核心思想是通过哈希函数将关键字映射到哈希表的某个地址上,从而实现O(1)平均时间复杂度的操作。然而,由于不同关键字可能映射到同一地址&#xff…

作者头像 李华