今天演示的案例是一个基于Wan2.1 ComfyUI的视频生成工作流。该流程以静态图像为起点，通过文本提示与轨迹控制，将角色镜头转化为动态视频。
工作流整体结合了扩散模型、文本编码器、视觉编码器和轨迹控制节点，配合解码与采样环节，使静态的画面呈现出自然流畅的运动感。这类应用在动漫角色再创作、游戏宣传视频、以及短片镜头的快速生成中都能展现出很强的实用性。
文章目录
- 工作流介绍
- 核心模型
- Node节点
- 工作流程
- 大模型应用
- CLIP Text Encode (Positive Prompt) 文本语义驱动的画面叙事控制
- CLIP Text Encode (Negative Prompt) 负向语义限制与质量纠偏
- CLIP Vision Encode 图像视觉语义绑定
- WanTrackToVideo 文本语义×轨迹×图像的统一视频条件生成核心
- 使用方法
- 应用场景
- 开发与应用
工作流介绍
该工作流以图像驱动 + 文本提示 + 轨迹控制为核心逻辑。用户通过导入一张静态图片，并在界面中粘贴轨迹 JSON 文件，再结合正负向文本提示，就能让原本静止的画面实现动态转场与角色运动。整个流程环环相扣，模型加载、编码、轨迹到视频、采样与解码、视频保存等步骤紧密结合，构建了一个完整的视频合成链路。
核心模型
在核心模型部分，工作流加载了 Wan 系列的视频扩散模型作为生成基础，搭配 VAE 模型完成潜空间与像素空间的映射，同时使用 UMT5 文本编码器和 CLIP Vision 视觉编码器来解析提示语与输入图像的视觉特征。多模型协同使得工作流能够既理解语义描述，又保持输入画面的风格一致性，并在视频合成过程中维持稳定性。
| 模型名称 | 说明 |
|---|---|
| Wan2_1-I2V-ATI-14B_fp8_e4m3fn.safetensors | 主扩散模型，用于将静态图像生成连续帧并支持轨迹驱动的视频合成 |
| wan_2.1_vae.safetensors | VAE 模型，负责潜变量与图像空间的相互解码与映射 |
