ComfyUI-LTXVideo 实战:10 分钟跑通 LTX-2 文生视频、图生视频与对口型
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
ComfyUI-LTXVideo 是 LTX-2 视频生成模型在 ComfyUI 里的官方配套节点包,补齐 IC-LoRA 控制、对口型配音、HDR 输出这些本体之外的能力,提示词或一张图直接出片。适合已装好 ComfyUI、想稳定出片的新手和创作者。
值不值得装:能力边界先划清楚
- 能做:文生视频 / 图生视频,完整模型与蒸馏模型(步数只需个位数的快版本)两套工作流,还能同时生成视频和音频
- 能做:两阶段生成——首阶段出基础分辨率稿,第二阶段空间 2× 上采样加短程精修,成片更高分辨率、更长
- 能做:Union IC-LoRA,一个 LoRA 同时吃深度、Canny 边缘、人体姿态三种控制条件,不用各挂一个
- 能做:Dub-It 对口型(可跨语言换台词,第二阶段音频冻结不重生成)、HDR 输出(LogC3 编码线性 HDR,可导 EXR 序列)、2×/4× 生成式空间放大
- 不做:不含主模型本体——LTX-2 已内置在 ComfyUI 核心里,但 22B 权重文件要你自己下载
- 不做:像素级保真放大——上采样是生成式的,细节重新合成,构图会和原片有细微出入
如果你只是想用提示词或一张图快速出片、偶尔做控制生成,它正合适。
从零到第一次跑通:安装、模型与首跑
硬件门槛先看两行:
| 档位 | 配置 |
|---|---|
| 推荐档 | 32GB+ 显存、CUDA 版 ComfyUI、100GB+ 磁盘(模型和缓存) |
| 底线档 | 24GB 显存,换low_vram_loaders.py的低显存加载节点,启动加--reserve-vram 5 |
按顺序走四步:先装插件——ComfyUI 里按Ctrl+M→ Install Custom Nodes → 搜 "LTXVideo" → 安装 → 重启,节点会出现在 LTXVideo 分类下;手动装也可以,命令只有一段:
cd ComfyUI/custom_nodes git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo pip install -r ComfyUI-LTXVideo/requirements.txt再下模型:主模型ltx-2.3-22b-dev.safetensors或更快的ltx-2.3-22b-distilled-1.1.safetensors放models/checkpoints/;Gemma 3 12b 文本编码器整目录放models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized/。跑两阶段才需要空间(x2/x1.5)和时间(x2)上采样模型,放models/latent_upscale_models/。最后把 example_workflows/2.3/LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json 拖进画布,填提示词,点 Run——首跑前打开 Workflow Overview 面板,点 Download all 把缺的文件一次性拉到位。
主流程实操:按任务拆三条线
文生视频:先用单阶段蒸馏版出第一片
最容易选错的点是拿完整模型起步——完整模型要几十步采样,第一次跑通完全没必要;蒸馏版个位数步数就出片,调好参数再谈画质。另一个高频错是帧数乱填:帧数必须是 1 加 8 的倍数,解码节点直接拒收。
| 参数 | 推荐值 | 为什么这么取 |
|---|---|---|
| 模型 | ltx-2.3-22b-distilled-1.1 | 蒸馏版低步数设计,首跑最快 |
| 分辨率 | 960x544 | 单阶段示例工作流的默认尺寸,显存安全 |
| 帧数 | 121 | 1+8n 的合法值,约 5 秒素材 |
| 采样步数 | 个位数(按蒸馏版默认) | 蒸馏版就是为低步数训的,加步数收益小 |
⚠️ 提示词里把画面主体、运动、背景音都写清楚,这套工作流默认同时生成视频和音频,漏写声音描述会让音频流跟着画面瞎编。
图生视频加两阶段放大:细节不够就走这条路
两阶段的思路是"低清定稿 → 上采样":首阶段 960x544 锁定构图和运动,第二阶段上采样模型把长边拉到 1536,再做短程精修。别一上来就 1080p 直接生成,又慢又吃显存。源图要求不高但要主体占画面大头、光照均匀,背景越乱,模型越容易把背景编出多余动作。
| 参数 | 推荐值 | 为什么这么取 |
|---|---|---|
| 首阶段分辨率 | 960x544 | 基础稿定构图,长边 1536 由上采样阶段负责 |
| 上采样模型 | spatial-upscaler-x2 + temporal-upscaler-x2 | 两阶段管线绑定这两个文件 |
| 精修步数 | 3 步(工作流默认) | 精修阶段只补细节,步数多了反而漂移 |
| 第二阶段提示词 | 只写风格与观感 | 精修路径不应改写内容描述 |
📌 两阶段工作流除了空间上采样器还依赖时间上采样器,只下载了一半会直接报缺模型,这不是代码问题。
控制条件生成:一个 Union IC-LoRA 管深度、边缘、姿态
Union Control 的设计意图是"一个管所有":同一 LoRA 解析深度图或边缘图,且跑在下采样后的潜空间里,比原分辨率更省显存更快。最容易错的点是给一个任务叠两三个控制 LoRA,条件互相打架,出片反而更乱。
| 条件 | 输入 | 适合场景 |
|---|---|---|
| 深度 | 深度图 | 锁定空间结构和镜头层次 |
| 边缘 | Canny 图 | 锁定物体轮廓和构图 |
| 姿态 | 人体 pose | 控制人物动作走向 |
| 工作流 | LTX-2.3_ICLoRA_Union_Control_Distilled.json | 默认已接深度,图内可换标注器 |
⚠️ 控制 LoRA 强度往 0.6~0.8 之间调:越低越贴原片,越高越"创作",拉满容易把参考结构也改没。
出错时的排查路径:四种高频故障
| 现象 | 最可能原因 | 处理动作 |
|---|---|---|
| 装完看不到 LTXVideo 节点 | 没重启或装错目录 | 重启 ComfyUI,确认插件在 custom_nodes 下且日志无报错 |
| 加载时提示找不到模型 | 没下全或放错目录 | 对照 README 的 Required Models 清单核对目录 |
| 两阶段工作流报缺模型 | 上采样模型没下 | 空间/时间上采样器放 models/latent_upscale_models/ |
| 24GB 卡直接 OOM | 走了全量加载 | 换 low_vram_loaders.py 的低显存节点,--reserve-vram 5重启 |
跑通之后往哪走:控制、提速与官方资料
如果你想进一步精确指挥画面里的运动,看稀疏运动轨道工作流 LTX-2.3_ICLoRA_Motion_Track_Distilled.json:在第一帧上直接画运动路径,再配合 dolly 系列相机 LoRA 控镜头。
如果你想进一步压榨性能,大画布 4K/8K 走 tiled_fusion_sampler.py 的 Tiled Fusion Sampler(分块去噪共享同一潜空间画布),显存吃紧时全程用 low_vram_loaders.py 的顺序加载节点把峰值压下来。
如果你想进一步查模型清单和进阶技巧,README.md 的 Required Models 与 Advanced Techniques 两节是权威出处,example_workflows/下每个 json 的图内注释也写了它需要哪些模型文件。
最小上手路径就一条:单阶段蒸馏版文生视频跑通,再加两阶段放大,最后按需挂 Union 控制 LoRA——别跳步。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考