ComfyUI-LTXVideo 实战指南:在 ComfyUI 上完成 LTX-2 视频生成、IC-LoRA 控制与 4K/8K 放大
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
ComfyUI-LTXVideo 是面向 ComfyUI 的 LTX-2 系列视频模型节点集,覆盖文生视频/图生视频、IC-LoRA 多条件控制、长视频分块与 4K/8K 图块融合放大。适合想在 ComfyUI 里做 AI 视频生成与编辑的创作者。读完你能确认硬件是否够用、配齐模型文件,并复现第一支带声音的视频。
先看选型:一张表判断值不值得用
LTX-2 模型本体已内置在 ComfyUI 核心中,这个仓库提供的是扩展节点和 30+ 套示例工作流,帮你把控制、放大、HDR、音频这些进阶能力接进来。决策信息如下:
| 项目 | 门槛 / 选项 | 说明 |
|---|---|---|
| GPU | CUDA,官方建议 32GB+ 显存 | 仓库自带低显存加载器节点,可把生成过程控制在 32GB 内 |
| 磁盘 | 100GB+ 空闲 | 模型文件加缓存 |
| 基础模型 | dev 全量版 / distilled 蒸馏版二选一 | distilled 采样步数少、出图快,适合迭代;dev 是完整精度版本 |
| 文本编码器 | Gemma 3 12B(qat-q4_0 反量化版) | 整个目录放入models/text_encoders/ |
| 依赖 | diffusers、einops、transformers 等 | 见 requirements.txt,HDR EXR 导出另需 openimageio |
| 典型场景 | T2V/I2V/V2V、T2A/A2V、结构控制、HDR、放大 | 对应 2.0 / 2.3 / 2.5 三代工作流 |
如果你的机器低于 32GB 显存,先不要放弃:下文的能力单元里有专门的低显存做法。
第一次出结果:安装、模型与首个 T2V 的四步路径
第 1 步:安装节点包。推荐走 ComfyUI Manager:打开 ComfyUI 按 Ctrl+M,进入 Install Custom Nodes,搜索 “LTXVideo” 安装,完成后重启。也可以手动克隆到ComfyUI/custom_nodes/目录:
git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo第 2 步:配齐模型文件。模型首次使用时可借助工作流的 Workflow Overview 面板一键下载,也可以按下面这张表手动放置:
| 文件 | 放置目录 | 用途 |
|---|---|---|
ltx-2.3-22b-distilled-1.1.safetensors | models/checkpoints | 2.3 工作流的基础模型 |
ltx-2.3-spatial-upscaler-x2-1.1.safetensors | models/latent_upscale_models | 两阶段流程的空间上采样 |
ltx-2.3-temporal-upscaler-x2-1.0.safetensors | models/latent_upscale_models | 两阶段流程的时间上采样 |
ltx-2.3-22b-distilled-lora-384-1.1.safetensors | models/loras | 两阶段蒸馏管线的蒸馏 LoRA |
gemma-3-12b-it-qat-q4_0-unquantized/(整目录) | models/text_encoders/ | Gemma 3 文本编码器 |
第 3 步:打开工作流。把example_workflows/2.5/LTX-2.5_T2V_I2V_Single_Stage_Distilled.json拖进画布(或 Workflow → Open)。所有 2.5 图共用同一套子图布局:加载模型 → 设置输入 → 预处理 → 采样 → 解码,换文件不用重新学图。填入提示词后点 Run。
第 4 步:记住两个硬约束。帧数必须是1 + 8 的倍数(如 49、97、145),否则参数不合法;蒸馏管线的第二级细化默认只有 3 步,出图快是正常的。
生成参数起步参考:
| 参数 | 起点值 | 说明 |
|---|---|---|
| 帧数 | 49(约 2 秒 @24fps) | 草稿从短的开始,帧数按 1+8k 调整 |
| 采样器 | euler | 图块融合类节点只支持离散步法:euler / heun / dpm_2 |
| Guider cfg | 1.0(节点默认) | 调高增强提示词遵循度,画面对比也会随之变强 |
| Guider stg | 1.0(节点默认) | 时空引导扰动强度,0 即关闭 |
| Guider rescale | 0.7(节点默认) | 噪声幅度重缩放,0 关闭 |
核心能力拆解:六个能力单元
T2V / I2V 生成:sampler 与 guider 是核心入口
能做什么:从纯文本或一张首帧图生成带声音的视频。关键入口:LTXVBaseSampler(默认 768×512,宽高步长 32)、LTXVImgToVideoConditionOnly(图像只作条件而不硬锁首帧,适合允许镜头自由的图生视频)。什么时候用:概念草稿、风格试错、预览循环时优先单阶段蒸馏版,显存占用最低。
IC-LoRA 控制:一个 LoRA 表覆盖八类任务
能做什么:用深度图、边缘图、姿态、参考视频、运动轨迹或遮罩引导生成,或对已有片段做风格化改写。入口:LTXICLoRALoaderModelOnly负责把 LoRA 挂到模型上,LTXAddVideoICLoRAGuide负责把参考素材接成引导条件。仓库支持的 IC-LoRA 包括:Union Control(深度+边缘二合一,工作在 0.5 倍下采样 latent 上,更省显存)、Motion Track、HDR(SDR 转 ACEScct HDR)、Dub-It(多语言配音并重新生成口型,两阶段流程冻结第二级音频)、Instant Shave、Colorization、Deblur、In-Outpainting、Pixel Spatial Upscaler(2×/4× 生成式放大,合成细节而非插值)、相机控制系列(dolly/jib 等,2.0 19b 版本)。什么时候用:输出需要遵循已有素材的结构,或要做局部编辑、转译、放大时。
长视频:LTXVLoopingSampler 分块生成
能做什么:把长视频切成带重叠的时间块逐段生成,每块用上一块的结尾帧做条件,配合加权混合消除接缝;同一节点还支持空间分块出高分辨率画面。关键参数:temporal_tile_size默认 80(范围 24–1000,步长 8)、temporal_overlap默认 24(建议取 tile 的约 1/3)、temporal_overlap_cond_strength默认 0.5 控制上一块结尾帧对新块的影响力、adain_factor用于防过饱和。还支持关键帧条件(optional_cond_image_indices填"0, 63"即可锁定首尾帧)和MultiPromptProvider多提示词节点(用|分隔,每个时间块用一条不同提示词)。什么时候用:视频时长超出单次生成窗口,或空间分辨率超出模型训练范围时。
4K/8K 大画布:LTXVTiledFusionSampler 图块融合
能做什么:在比模型训练窗口更大的画布上做去噪。它保持唯一 latent 画布和唯一噪声场,每一步都在重叠图块上运行模型并高斯混合回画布,图块共享同一条轨迹,因此不会像独立采样那样产生接缝。峰值显存取决于图块大小和时间窗口,而不是整张画布。关键参数:tile_width/tile_height必须是 32 的倍数(用LTXVGetTilingSizes节点直接取合法组合);overlap_frac保持在 0.5 以上,低于它会在结构化画面中出现周期性网格;tile_frames通常取 97;采样器必须配离散步法。提示词只写光照、色彩、锐度、调色这类风格描述,不要点名画面里的具体物体,否则放大后该物体可能被复制进每个空间图块。什么时候用:IC-LoRA 的 V2V 放大、FullHD 到 4K/8K 的阶梯式出图。详见仓库文档 tiled_fusion_sampler.md。
音频:T2A 与 A2V 两条路线
能做什么:LTX-2 本身是音视频联合 Transformer,可以只出声音。T2A 路线用LTXVAudioOnlyModel关闭视频相关注意力,配合LTXVAudioOnlyEmptyVideoLatent(64×64 单帧占位,LTXVConcatAVLatent拼接)和LTXVAudioVAEDecode解出音频,再用Save Audio (FLAC)保存。A2V 路线则相反:编码输入音轨、冻结其 token,并把原始波形直接混流进输出。什么时候用:独立音频片段走 T2A;画面必须贴合既有配乐走 A2V。
低显存:顺序加载与显存预留
能做什么:LowVRAMCheckpointLoader、LowVRAMAudioVAELoader、LowVRAMLatentUpscaleModelLoader三类节点带dependencies输入,把前一个加载器的输出接进来就能强制模型顺序加载,避免同时驻留,让 32GB 显存跑通生成。配合启动参数python -m main --reserve-vram 5预留系统显存。2.5 系列工作流的默认值就是按低显存机器调的;如果你显存更宽裕,可以调大 decode 图块尺寸换取速度。实现见 low_vram_loaders.py。什么时候用:显存在 24–32GB 区间,或工作流里堆了多个大模型时。
场景化实战:目标 → 操作 → 结果验证
场景一:出 5 秒 T2V 草稿
目标:最快验证提示词和画面构图是否成立。
操作:打开 2.5 单阶段 T2V/I2V 工作流;帧数设 49;提示词写主体、动作和风格;首次运行让 Workflow Overview 自动拉取缺失模型;Run。
结果验证:输出应同时包含画面和同步音频。把同一提示词换到两阶段版本再跑一次对比——两阶段会做 2× 空间放大加 3 步细化,空间细节明显更密;细节差距在草稿阶段可以接受就用单阶段。
场景二:按参考视频结构生成新画面(Union Control)
目标:生成与参考片段构图、深度一致,但光照和风格不同的新视频。
操作:打开LTX-2.5_ICLoRA_Union_Control_Distilled.json;参考片段接入后深度通道默认已接好,可在图内切换为 canny 或 pose;提示词只描述想要的风格变化;Run。
结果验证:逐帧对照参考片,构图与景深应基本一致;改提示词后应只改变光照、色彩这类外观,如果结构被改乱,说明控制信号没接对或 LoRA 强度过高。
场景三:短片段 4K 放大(Tiled Fusion)
目标:把 FullHD 片段放大到 4K,且图块边界无接缝。
操作:打开LTX-2.5_V2V_TiledFusion_Upscale.json;output_size选 4K,图块组合由图内 Get Tiling Sizes 子图输出;采样器用 euler,sigmas 用 Manual Sigmas(递减、以 0 结尾);提示词只写光照、胶片感、锐度;若片段超过一个时间窗口,在 guide 和 sampler 两处同时打开use_streaming并设相同的tile_frames(通常 97)。
结果验证:接缝检查——图块交界处不应有条带;网格检查——结构化场景中若出现周期性网格,把overlap_frac回到 0.5 以上并确认 guide 的use_tiled_encode为 false;音频应为原片冻结混流,没有重新生成。
避坑清单:症状、原因与解决办法
| 症状 | 可能原因 | 解决办法 |
|---|---|---|
| 安装后节点菜单里没有 LTXVideo 分类 | 未重启 ComfyUI 或安装失败 | 重启;失败则手动克隆到custom_nodes/再重启 |
| 启动即 OOM | 多模型同时驻留、用了全量 dev 模型 | 换 distilled 模型;低显存加载器用 dependencies 串成顺序加载;加--reserve-vram |
| 输出出现周期性网格 | 融合overlap_frac低于 0.5,或use_tiled_encode被打开 | overlap_frac≥ 0.5;use_tiled_encode保持 false |
| 长视频块与块之间接缝、动作断裂 | 时间重叠帧太少 | overlap 取 tile 的约 1/3;调高temporal_overlap_cond_strength |
| 长视频颜色漂移、过饱和 | 缺少 latent 统计归一化 | adain_factor设 0.1–0.3 |
| 帧数参数报错 | 帧数不是 1+8 的倍数 | 改为 49、97、145 这类值 |
| 放大后提示词里的物体出现在每个图块 | 提示词点名了具体物体 | 只描述光照、色板、锐度、调色 |
| HDR EXR 序列导不出 | 缺 openimageio 依赖 | 按 requirements.txt 安装后再跑LTXVHDRDecodePostprocess |
下一步:继续深入去哪看
- 按场景挑工作流:example_workflows/2.5/ 目录下的 README 里有一棵完整的决策树,从“只要音频还是要有画面”问到“用什么控制条件”,30 秒定位该用哪张图;2.0 和 2.3 子目录里另有旧代工作流。
- 读两份节点文档:tiled_fusion_sampler.md 和
looping_sampler.md,两者的参数表、配置指南和故障排除章节比 README 更细,调参前先查它们。 - 研究低显存实现:
low_vram_loaders.py里 dependencies 的接线方式可以照搬到你自己的工作流。 - 用现成预设:
presets/stg_advanced_presets.json是 STG 引导的预设集合,配合STGGuiderAdvanced节点直接调用;画运动轨迹的网页编辑器对应web/js/sparse_track_editor.js,配LTXVSparseTrackEditor节点使用。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考