news 2026/10/18 3:52:42

ComfyUI-LTXVideo 实战指南:在 ComfyUI 上完成 LTX-2 视频生成、IC-LoRA 控制与 4K/8K 放大

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ComfyUI-LTXVideo 实战指南:在 ComfyUI 上完成 LTX-2 视频生成、IC-LoRA 控制与 4K/8K 放大

ComfyUI-LTXVideo 实战指南:在 ComfyUI 上完成 LTX-2 视频生成、IC-LoRA 控制与 4K/8K 放大

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

ComfyUI-LTXVideo 是面向 ComfyUI 的 LTX-2 系列视频模型节点集,覆盖文生视频/图生视频、IC-LoRA 多条件控制、长视频分块与 4K/8K 图块融合放大。适合想在 ComfyUI 里做 AI 视频生成与编辑的创作者。读完你能确认硬件是否够用、配齐模型文件,并复现第一支带声音的视频。

先看选型:一张表判断值不值得用

LTX-2 模型本体已内置在 ComfyUI 核心中,这个仓库提供的是扩展节点和 30+ 套示例工作流,帮你把控制、放大、HDR、音频这些进阶能力接进来。决策信息如下:

项目门槛 / 选项说明
GPUCUDA,官方建议 32GB+ 显存仓库自带低显存加载器节点,可把生成过程控制在 32GB 内
磁盘100GB+ 空闲模型文件加缓存
基础模型dev 全量版 / distilled 蒸馏版二选一distilled 采样步数少、出图快,适合迭代;dev 是完整精度版本
文本编码器Gemma 3 12B(qat-q4_0 反量化版)整个目录放入models/text_encoders/
依赖diffusers、einops、transformers 等见 requirements.txt,HDR EXR 导出另需 openimageio
典型场景T2V/I2V/V2V、T2A/A2V、结构控制、HDR、放大对应 2.0 / 2.3 / 2.5 三代工作流

如果你的机器低于 32GB 显存,先不要放弃:下文的能力单元里有专门的低显存做法。

第一次出结果:安装、模型与首个 T2V 的四步路径

第 1 步:安装节点包。推荐走 ComfyUI Manager:打开 ComfyUI 按 Ctrl+M,进入 Install Custom Nodes,搜索 “LTXVideo” 安装,完成后重启。也可以手动克隆到ComfyUI/custom_nodes/目录:

git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

第 2 步:配齐模型文件。模型首次使用时可借助工作流的 Workflow Overview 面板一键下载,也可以按下面这张表手动放置:

文件放置目录用途
ltx-2.3-22b-distilled-1.1.safetensorsmodels/checkpoints2.3 工作流的基础模型
ltx-2.3-spatial-upscaler-x2-1.1.safetensorsmodels/latent_upscale_models两阶段流程的空间上采样
ltx-2.3-temporal-upscaler-x2-1.0.safetensorsmodels/latent_upscale_models两阶段流程的时间上采样
ltx-2.3-22b-distilled-lora-384-1.1.safetensorsmodels/loras两阶段蒸馏管线的蒸馏 LoRA
gemma-3-12b-it-qat-q4_0-unquantized/(整目录)models/text_encoders/Gemma 3 文本编码器

第 3 步:打开工作流。把example_workflows/2.5/LTX-2.5_T2V_I2V_Single_Stage_Distilled.json拖进画布(或 Workflow → Open)。所有 2.5 图共用同一套子图布局:加载模型 → 设置输入 → 预处理 → 采样 → 解码,换文件不用重新学图。填入提示词后点 Run。

第 4 步:记住两个硬约束。帧数必须是1 + 8 的倍数(如 49、97、145),否则参数不合法;蒸馏管线的第二级细化默认只有 3 步,出图快是正常的。

生成参数起步参考:

参数起点值说明
帧数49(约 2 秒 @24fps)草稿从短的开始,帧数按 1+8k 调整
采样器euler图块融合类节点只支持离散步法:euler / heun / dpm_2
Guider cfg1.0(节点默认)调高增强提示词遵循度,画面对比也会随之变强
Guider stg1.0(节点默认)时空引导扰动强度,0 即关闭
Guider rescale0.7(节点默认)噪声幅度重缩放,0 关闭

核心能力拆解:六个能力单元

T2V / I2V 生成:sampler 与 guider 是核心入口

能做什么:从纯文本或一张首帧图生成带声音的视频。关键入口:LTXVBaseSampler(默认 768×512,宽高步长 32)、LTXVImgToVideoConditionOnly(图像只作条件而不硬锁首帧,适合允许镜头自由的图生视频)。什么时候用:概念草稿、风格试错、预览循环时优先单阶段蒸馏版,显存占用最低。

IC-LoRA 控制:一个 LoRA 表覆盖八类任务

能做什么:用深度图、边缘图、姿态、参考视频、运动轨迹或遮罩引导生成,或对已有片段做风格化改写。入口:LTXICLoRALoaderModelOnly负责把 LoRA 挂到模型上,LTXAddVideoICLoRAGuide负责把参考素材接成引导条件。仓库支持的 IC-LoRA 包括:Union Control(深度+边缘二合一,工作在 0.5 倍下采样 latent 上,更省显存)、Motion Track、HDR(SDR 转 ACEScct HDR)、Dub-It(多语言配音并重新生成口型,两阶段流程冻结第二级音频)、Instant Shave、Colorization、Deblur、In-Outpainting、Pixel Spatial Upscaler(2×/4× 生成式放大,合成细节而非插值)、相机控制系列(dolly/jib 等,2.0 19b 版本)。什么时候用:输出需要遵循已有素材的结构,或要做局部编辑、转译、放大时。

长视频:LTXVLoopingSampler 分块生成

能做什么:把长视频切成带重叠的时间块逐段生成,每块用上一块的结尾帧做条件,配合加权混合消除接缝;同一节点还支持空间分块出高分辨率画面。关键参数:temporal_tile_size默认 80(范围 24–1000,步长 8)、temporal_overlap默认 24(建议取 tile 的约 1/3)、temporal_overlap_cond_strength默认 0.5 控制上一块结尾帧对新块的影响力、adain_factor用于防过饱和。还支持关键帧条件(optional_cond_image_indices填"0, 63"即可锁定首尾帧)和MultiPromptProvider多提示词节点(用|分隔,每个时间块用一条不同提示词)。什么时候用:视频时长超出单次生成窗口,或空间分辨率超出模型训练范围时。

4K/8K 大画布:LTXVTiledFusionSampler 图块融合

能做什么:在比模型训练窗口更大的画布上做去噪。它保持唯一 latent 画布和唯一噪声场,每一步都在重叠图块上运行模型并高斯混合回画布,图块共享同一条轨迹,因此不会像独立采样那样产生接缝。峰值显存取决于图块大小和时间窗口,而不是整张画布。关键参数:tile_width/tile_height必须是 32 的倍数(用LTXVGetTilingSizes节点直接取合法组合);overlap_frac保持在 0.5 以上,低于它会在结构化画面中出现周期性网格;tile_frames通常取 97;采样器必须配离散步法。提示词只写光照、色彩、锐度、调色这类风格描述,不要点名画面里的具体物体,否则放大后该物体可能被复制进每个空间图块。什么时候用:IC-LoRA 的 V2V 放大、FullHD 到 4K/8K 的阶梯式出图。详见仓库文档 tiled_fusion_sampler.md。

音频:T2A 与 A2V 两条路线

能做什么:LTX-2 本身是音视频联合 Transformer,可以只出声音。T2A 路线用LTXVAudioOnlyModel关闭视频相关注意力,配合LTXVAudioOnlyEmptyVideoLatent(64×64 单帧占位,LTXVConcatAVLatent拼接)和LTXVAudioVAEDecode解出音频,再用Save Audio (FLAC)保存。A2V 路线则相反:编码输入音轨、冻结其 token,并把原始波形直接混流进输出。什么时候用:独立音频片段走 T2A;画面必须贴合既有配乐走 A2V。

低显存:顺序加载与显存预留

能做什么:LowVRAMCheckpointLoader、LowVRAMAudioVAELoader、LowVRAMLatentUpscaleModelLoader三类节点带dependencies输入,把前一个加载器的输出接进来就能强制模型顺序加载,避免同时驻留,让 32GB 显存跑通生成。配合启动参数python -m main --reserve-vram 5预留系统显存。2.5 系列工作流的默认值就是按低显存机器调的;如果你显存更宽裕,可以调大 decode 图块尺寸换取速度。实现见 low_vram_loaders.py。什么时候用:显存在 24–32GB 区间,或工作流里堆了多个大模型时。

场景化实战:目标 → 操作 → 结果验证

场景一:出 5 秒 T2V 草稿

目标:最快验证提示词和画面构图是否成立。

操作:打开 2.5 单阶段 T2V/I2V 工作流;帧数设 49;提示词写主体、动作和风格;首次运行让 Workflow Overview 自动拉取缺失模型;Run。

结果验证:输出应同时包含画面和同步音频。把同一提示词换到两阶段版本再跑一次对比——两阶段会做 2× 空间放大加 3 步细化,空间细节明显更密;细节差距在草稿阶段可以接受就用单阶段。

场景二:按参考视频结构生成新画面(Union Control)

目标:生成与参考片段构图、深度一致,但光照和风格不同的新视频。

操作:打开LTX-2.5_ICLoRA_Union_Control_Distilled.json;参考片段接入后深度通道默认已接好,可在图内切换为 canny 或 pose;提示词只描述想要的风格变化;Run。

结果验证:逐帧对照参考片,构图与景深应基本一致;改提示词后应只改变光照、色彩这类外观,如果结构被改乱,说明控制信号没接对或 LoRA 强度过高。

场景三:短片段 4K 放大(Tiled Fusion)

目标:把 FullHD 片段放大到 4K,且图块边界无接缝。

操作:打开LTX-2.5_V2V_TiledFusion_Upscale.json;output_size选 4K,图块组合由图内 Get Tiling Sizes 子图输出;采样器用 euler,sigmas 用 Manual Sigmas(递减、以 0 结尾);提示词只写光照、胶片感、锐度;若片段超过一个时间窗口,在 guide 和 sampler 两处同时打开use_streaming并设相同的tile_frames(通常 97)。

结果验证:接缝检查——图块交界处不应有条带;网格检查——结构化场景中若出现周期性网格,把overlap_frac回到 0.5 以上并确认 guide 的use_tiled_encode为 false;音频应为原片冻结混流,没有重新生成。

避坑清单:症状、原因与解决办法

症状可能原因解决办法
安装后节点菜单里没有 LTXVideo 分类未重启 ComfyUI 或安装失败重启;失败则手动克隆到custom_nodes/再重启
启动即 OOM多模型同时驻留、用了全量 dev 模型换 distilled 模型;低显存加载器用 dependencies 串成顺序加载;加--reserve-vram
输出出现周期性网格融合overlap_frac低于 0.5,或use_tiled_encode被打开overlap_frac≥ 0.5;use_tiled_encode保持 false
长视频块与块之间接缝、动作断裂时间重叠帧太少overlap 取 tile 的约 1/3;调高temporal_overlap_cond_strength
长视频颜色漂移、过饱和缺少 latent 统计归一化adain_factor设 0.1–0.3
帧数参数报错帧数不是 1+8 的倍数改为 49、97、145 这类值
放大后提示词里的物体出现在每个图块提示词点名了具体物体只描述光照、色板、锐度、调色
HDR EXR 序列导不出缺 openimageio 依赖按 requirements.txt 安装后再跑LTXVHDRDecodePostprocess

下一步:继续深入去哪看

  • 按场景挑工作流:example_workflows/2.5/ 目录下的 README 里有一棵完整的决策树,从“只要音频还是要有画面”问到“用什么控制条件”,30 秒定位该用哪张图;2.0 和 2.3 子目录里另有旧代工作流。
  • 读两份节点文档:tiled_fusion_sampler.md 和looping_sampler.md,两者的参数表、配置指南和故障排除章节比 README 更细,调参前先查它们。
  • 研究低显存实现:low_vram_loaders.py里 dependencies 的接线方式可以照搬到你自己的工作流。
  • 用现成预设:presets/stg_advanced_presets.json是 STG 引导的预设集合,配合STGGuiderAdvanced节点直接调用;画运动轨迹的网页编辑器对应web/js/sparse_track_editor.js,配LTXVSparseTrackEditor节点使用。

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/18 3:50:33

3条命令用tiny11builder做出精简Windows 11安装镜像

3条命令用tiny11builder做出精简Windows 11安装镜像 【免费下载链接】tiny11builder WinUI app for building smaller, customized Windows 11 images. 项目地址: https://gitcode.com/GitHub_Trending/ti/tiny11builder 旧笔记本因为 TPM 2.0 和 CPU 代际检查装不上 Wi…

作者头像 李华
网站建设 2026/10/18 3:49:20

微调中的拔河:领域知识注入与灾难性遗忘的平衡术

从标题到落地,这几年做模型微调,我最深的感受是:所谓“领域知识注入”和“灾难性遗忘”,其实是一场围绕模型权重展开的拔河。你在这头把新知识拼命往模型脑子里塞,那头的旧知识就会像沙子一样从指缝漏出去。这是所有做…

作者头像 李华
网站建设 2026/10/18 3:47:29

OpenClaw 免费跑通后接入钉钉:用 ClawHub skills 打通企业消息流

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/18 3:46:23

Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with La...

文章主要内容和创新点 主要内容 本文聚焦于将叙事疗法(Narrative Therapy)与大语言模型(LLMs)结合,提出了一个用于心理健康支持的综合框架,以解决现有LLM在模拟专业心理治疗时缺乏真实性、难以捕捉治疗进展的问题。该框架包含两个核心组件: INT(Interactive Narrativ…

作者头像 李华