HY-World 2.0 模型库Model Zoo完整指南：快速下载与配置WorldMirror/Pano/WorldStereo权重

HY-World 2.0 模型库Model Zoo完整指南：快速下载与配置WorldMirror/Pano/WorldStereo权重

【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0

HY-World 2.0是一个多模态 3D 世界模型，可以从文本、单图、多视角图片或视频生成/重建可交互的 3D 世界（3DGS 网格与高斯点云）。它的模型库（Model Zoo）包含WorldMirror、HY-Pano、WorldStereo三大系列权重。本文将用一篇完整指南，带你快速完成 HY-World 2.0 权重的下载、加载与配置，零基础上手世界模型推理。

🧩 先看懂：HY-World 2.0 的模型家族

HY-World 2.0 由四大阶段串联而成：全景生成（HY-Pano 2.0）→ 轨迹规划（WorldNav）→ 世界扩展（WorldStereo 2.0）→ 世界组合（WorldMirror 2.0 + 3DGS 训练）。三大权重各自负责其中一个核心环节：

📦 模型权重清单：一文看全三大系列

官方模型库汇总了以下权重（来源：README.md 的 Model Zoo 章节）：

💡好消息：大部分权重托管在同一个 Hugging Face 仓库tencent/HY-World-2.0中，按子文件夹组织；WorldStereo-2 独立托管在hanshanxue/WorldStereo仓库。推理代码会在首次运行时自动下载权重，无需手动配置环境变量。

🎯 第一步：克隆仓库并安装环境

所有权重配置都建立在代码环境之上。推荐CUDA 12.8 + Python 3.11+，官方建议先用一个共享环境把 WorldMirror 跑通，再补装 World Generation 的额外依赖（详见 README.md 的 Get Started 章节）：

git clone https://gitcode.com/gh_mirrors/hy/HY-World-2.0 cd HY-World-2.0 pip install -r requirements.txt

🪞 WorldMirror 2.0：世界重建权重加载配置

WorldMirror 2.0 是统一的前馈式重建模型，一次前向推理同时输出：3D 点云、逐视角深度图、表面法线、相机位姿与内参、以及 3D Gaussian Splatting 属性（均值、尺度、旋转、不透明度、SH 系数）。

方式一：在线自动下载（最简单）

权重位于 HF 仓库的HY-WorldMirror-2.0子文件夹（model.safetensors+ 配置文件），默认自动拉取，只需一行加载：

from hyworld2.worldrecon.pipeline import WorldMirrorPipeline pipeline = WorldMirrorPipeline.from_pretrained('tencent/HY-World-2.0') result = pipeline('path/to/images') # 图片目录或视频文件

加载逻辑在 hyworld2/worldrecon/pipeline.py，它会自动识别本地目录中的model.safetensors+ config，否则从 HF 下载。

方式二：本地 checkpoint 手动配置

已手动下载权重时，通过ckpt_path+config_path指到本地文件，跳过任何网络请求：

pipeline = WorldMirrorPipeline.from_pretrained( pretrained_model_name_or_path='tencent/HY-World-2.0', ckpt_path='/path/to/checkpoint.safetensors', config_path='/path/to/config.yaml', )

命令行同样支持--ckpt_path/--config_path参数（见 DOCUMENTATION.md 的 CLI Reference）。用本地样例场景试跑效果，可以直接使用仓库自带的 examples/worldrecon 数据集，例如：

进阶配置：省显存与多卡

• 禁用不需要的预测头省显存（最多释放约 200M 参数）：disable_heads=["normal", "points"]，可选"camera" / "depth" / "normal" / "points" / "gs"
• 多卡 FSDP + bf16推理（注意：输入图片数 ≥ GPU 数）：

torchrun --nproc_per_node=2 -m hyworld2.worldrecon.pipeline \ --input_path path/to/images --use_fsdp --enable_bf16

🌐 HY-Pano 2.0：全景生成权重的两种后端

HY-Pano 2.0 把单张透视照片（或文本）扩展为 360° 等距柱状全景图，提供两种权重方案：

后端一（HunyuanImage-3）：默认模型 ID 为tencent/HY-World-2.0，子文件夹HY-Pano-2.0（见 pipeline.py），首次运行自动下载：

from pipeline import HunyuanPanoPipeline pipeline = HunyuanPanoPipeline.from_pretrained('tencent/HY-World-2.0') output = pipeline('input.png') output.save('output_panorama.png') # 默认输出 1920×960 全景

也可传本地路径：HunyuanPanoPipeline.from_pretrained('/path/to/HY-Pano-2.0')。

后端二（Qwen LoRA）：基座模型用 Qwen-Image-Edit-2509，LoRA 权重从同一 HF 仓库的HY-Pano-2.0子文件夹下载：

from pipeline_with_qwen_image import HunyuanPanoPipeline pipeline = HunyuanPanoPipeline.from_pretrained( lora_path='tencent/HY-World-2.0', lora_subfolder='HY-Pano-2.0') output = pipeline('input.png')

完整参数（--seed、--diff-infer-steps、--use-taylor-cache加速等）参考 hyworld2/panogen/README.md。

🎬 WorldStereo 2.0：世界扩展权重的配置要点

WorldStereo 2.0 是 ~17B 的扩散式视频生成模型，负责沿规划轨迹把全景"扩展"成一致的高清关键帧序列，是整条生成管线中最吃显存的环节。

• 权重位置：托管在 HF 仓库hanshanxue/WorldStereo，代码在 hyworld2/worldgen/video_gen.py 中指定，运行时自动下载
• 加载入口：hyworld2/worldgen/models/worldstereo_wrapper.py 提供 diffusers 风格的WorldStereo.from_pretrained(repo_id, subfolder=...)，支持local_files_only=True走本地缓存、fsdp=True多卡分片
• 模型变体：worldstereo-memory（完整多步推理）与worldstereo-memory-dmd（DMD 蒸馏四步推理，默认推荐）

跑通完整世界生成（轨迹规划 → 轨迹渲染 → 世界扩展 → GS 数据 → 3DGS 训练）的命令与参数，请见 hyworld2/worldgen/README.md，建议≥4 张 GPU（官方在 8×H20 上验证），扩展阶段示例：

torchrun --nproc_per_node 8 video_gen.py --target_path /path/to/scene --fsdp

✅ 权重配置避坑清单

1. 自动下载 vs 手动下载：三个系列都支持"首次运行自动从 HF 拉取"；离线/内网环境请手动下载后传本地路径（ckpt_path、from_pretrained('/path/...')、local_files_only=True）
2. 子文件夹别搞混：WorldMirror 权重在HY-WorldMirror-2.0，Pano 权重在HY-Pano-2.0，二者同属tencent/HY-World-2.0仓库
3. WorldMirror 多卡：输入图片数必须 ≥ GPU 数，否则直接报错
4. 显存不足时：WorldMirror 用disable_heads裁剪预测头、加fsdp_cpu_offload；Pano 选轻量 Qwen LoRA 后端
5. 详细参数表：所有推理参数（保存项、掩码、压缩、先验注入）完整列表见 DOCUMENTATION.md

🎉 总结

HY-World 2.0 的模型库设计得很清爽：WorldMirror-2（1.2B）负责"照片变 3D"，HY-Pano-2（80B / 425M 双后端）负责"单图变全景"，WorldStereo-2（17B）负责"全景变可进入的世界"。权重默认自动下载，配合ckpt_path/ 本地路径即可离线部署。装上环境、跑通 WorldMirror，你就已经拥有了一个完整的 3D 世界工具箱 🚀

【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0