背景是看到这篇新闻,感觉很有意思,就想试用看看。李飞飞的Atlas,为具身智能推开新世界大门
文章目录
- 1. 产品概述
- 2. 3D场景重建
- 参考来源
1. 产品概述
World Labs Marble是一个多模态 3D 世界生成模型,可从图片、文字、全景图、多视角图片或视频生成可探索的三维世界(Gaussian Splat 格式)。
- 官方文档:docs.worldlabs.ai/api
- 平台管理后台:platform.worldlabs.ai
- Marble 网页应用:marble.worldlabs.ai
- 官方代码示例:github.com/worldlabsai/worldlabs-api-examples
2. 3D场景重建
Web 应用免费额度 ≠ API 免费额度,两者完全独立、不可互换。免费版可以用,但仅限网页界面操作,不能通过 API 调用。
Marble Web 应用(marble.worldlabs.ai)免费版大约有7,000 credits额度,能够免费生成1~4 次这样,仅仅为个人试用,无商业版权 。
如果想使用API还是需要付费,API 平台(platform.worldlabs.ai)必须先充值才能生成 API Key 并调用,最低充值:$5 = 6,250 credits
网页版免费3D重建场景流程如下:
- 访问 https://platform.worldlabs.ai注册账号
- 生成网页链接:https://marble.worldlabs.ai/
这个页面有非常多demo例子可以查看:
- 点击这里试用生成3D场景:
可以选择直接输入一段描述词来生成场景,也可以选择直接上传你想重建的场景图来生成。
上传场景图重建也有以下两种方式可选:
- 在 2D 输入模式下,拖入或上传最多 4 张图片。点击图片缩略图上的文字叠加层即可更改其方向,并从“前”、“后”、“左”、“右”中选择一个。在此模式下,不重叠的图片可以让Marble模型巧妙地填充视图之间的空白区域。指定完每张图片的方向后,点击“创建”按钮即可生成世界。
- 在 2D 输入模式下,拖入或上传最多 8 张图片。开启“自动布局”开关,世界模型即可自动确定这些图片的相对位置。在此模式下,所有上传的图片必须具有相同的宽高比和分辨率,并且来自同一空间。目前,拍摄位置相近但视角不同的图片效果最佳,且图片之间应有一定重叠。
我使用的是自动布局创建包含多张图片的场景重建。
上传同一个场景下的8张图片:因为没有实际场景照片 ,直接上Google map实景截图了几张。需要图片需要相同的宽高比和分辨率,可以直接找AI帮忙处理下或者写个python脚本处理下。上传后直接创建即可。
生成后的场景:
生成3D场景后的场景链接
- 生成完成后,可通过以下方式查看:
- 浏览器直接访问:
https://marble.worldlabs.ai/world/{world_id} - 下载资产:
pano_url:全景图(JPG)collider_mesh_url:碰撞网格(用于物理模拟/游戏引擎)splats.spz_urls.full:完整 Gaussian Splat 文件(.spz)splats.spz_urls.100k/500k:轻量级 Splat(适合 Web 渲染)
参考来源
- World Labs 官方文档
- World Labs API 定价页
- 官方 GitHub 示例仓库
- 社区 Quickstart App
- World Labs API 发布公告
- Marble 定价说明
- Multi-image prompt tips - World Labs