Stable Zero123文本生3D工作流:SDXL+SDS组合拳,一句话直接生成3D物体
【免费下载链接】stable-zero123项目地址: https://ai.gitcode.com/hf_mirrors/stabilityai/stable-zero123
Stable Zero123 是 Stability AI 开源的文本生3D模型,核心玩法是SDXL + SDS 组合拳:先用 SDXL 一句话生成图片,再通过得分蒸馏采样(SDS)重建出可交互的3D物体。相比原版 Zero123 和 Zero123-XL,它的数据渲染与条件化策略都做了升级,多视角一致性明显更强,是目前把"一句提示词变成3D网格"流程走得最顺滑的开源方案之一。🚀
一图看懂:Stable Zero123 的3D生成效果
下面这张图来自项目 README 的官方效果演示:左侧是一张卡通恐龙输入图,上排是 Zero123-XL 的多视角输出,下排是 Stable Zero123 的多视角输出。
👀 直观对比可以发现,Stable Zero123 在转到背后、俯视等特殊视角时,背部棘刺的颜色和几何形状保持得更完整,不会出现视角一翻就"面目全非"的情况——这正是做3D重建时最看重的多视角一致性。
模型档案:它是做什么的?
| 项目 | 说明 |
|---|---|
| 模型类型 | 潜扩散模型(latent diffusion model) |
| 核心能力 | 视角条件图像生成 + 图像/文本到3D重建 |
| 训练数据 | Objaverse 数据集渲染图 |
| 训练硬件 | 单节点 8 × A100 80GB |
| 技术基座 | 基于 Zero123 改进,微调自 SDXL 系变体 |
| 开源配套 | threestudio 已适配,支持一键跑通3D网格生成 |
仓库里直接提供了两个权重文件,拿来即用:
stable_zero123.ckpt—— 标准版(仅限研究/非商用)stable_zero123_c.ckpt—— 商用版(C = Commercially-available)
工作流拆解:SDXL + SDS 组合拳怎么打
Stable Zero123 的"文本生3D"并不是一步到位,而是两段接力:
- SDXL 负责"想象力":输入一句提示词(例如A simple 3D render of a friendly dog),用 SDXL 类图像生成器产出一张高质量单视角图;
- Stable Zero123 + SDS 负责"立体化":以这张图为条件,用 SDS 对可微3D参数做优化,模型不断从各视角预测"这个物体长什么样",反向修正3D结构,最终收敛出一个多视角一致的3D网格。
💡 简单说:SDXL 给"第一张脸",SDS 帮它补全"整个世界"。
两个 Checkpoint 怎么选?
两个版本在视觉质量上几乎一致(官方内部测试结论),区别只在授权,选哪个看你的用途:
| 对比项 | stable_zero123.ckpt | stable_zero123_c.ckpt |
|---|---|---|
| 训练数据 | 含部分 CC-BY-NC 3D物体 | 仅 CC-BY / CC0 物体 |
| 商用支持 | ❌ 仅限研究用途 | ✅ 支持商用 |
| 授权协议 | LICENSE_stable_zero123.md(非商业研究社区许可) | LICENSE_stable_zero123_c.md(StabilityAI 社区许可) |
商用版按 StabilityAI 社区许可,允许研究、非商业及有限的商业用途,年营收低于 100 万美元的团队可免费使用。做产品上架、商业交付,选
stable_zero123_c.ckpt就对了。
快速上手:5步跑通3D生成
以下流程基于已适配 Stable Zero123 的 threestudio 框架:
- 安装 threestudio:按其官方文档安装即可,环境要求以该框架为准;
- 放置权重:把
stable_zero123.ckpt下载到load/zero123/目录。也可以直接克隆本项目获取权重文件:git clone https://gitcode.com/hf_mirrors/stabilityai/stable-zero123 - 准备输入图:任选一张图,或用 Stable Assistant 等 AI 绘图工具从文本生成(提示词建议带上 "simple 3D render" 这类词);
- 去除背景:把图片背景抠掉,保存到
load/images/,文件名建议以_rgba.png结尾(如hamburger_rgba.png); - 启动生成:
python launch.py --config configs/stable-zero123.yaml --train --gpu 0 data.image_path=./load/images/hamburger_rgba.png
跑完后就能在输出目录里得到3D网格,拖进任意3D查看器旋转查看 🎮。
常见问题 FAQ
Q:Stable Zero123 比 Zero123-XL 强在哪?A:数据渲染质量与条件化策略都做了改进,多视角一致性更好,侧面、俯视等难视角不容易"崩坏"(回看上面的对比图就很明显)。
Q:一定要先出图再生成3D吗?A:如果你已有满意的目标图(比如产品图、手绘草图),可以直接从第4步开始,跳过 SDXL 这一步,效果反而更可控。
Q:对显卡有要求吗?A:训练是在 8 × A100 上完成的;推理侧跟随 threestudio 的要求,建议至少一块显存充裕的中高端独显,SDS 优化过程对显存消耗不小。
写在最后
Stable Zero123 的价值在于把"文本 → 3D"这条链路变得可复现、可商用、可定制:SDXL 出图、Stable Zero123 多视角补全、SDS 收敛成网格,每一步都有明确的工程落点。如果你正在做3D内容生产、电商建模或游戏素材批量化,这套工作流值得放进你的技术清单里试试。
【免费下载链接】stable-zero123项目地址: https://ai.gitcode.com/hf_mirrors/stabilityai/stable-zero123
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考