简介：这是一份面向AI绘画与动画生成玩家的ComfyUI工作流资源，聚焦AnimateDiff与ControlNet的Lineart控制，解决从单帧线稿到动画序列的批量生成问题。压缩包共包含27个文件：4个JSON工作流配置（时间从2023年10月到2024年4月，便于对比版本迭代）、22张PNG帧预览图（frame_00至frame_21，按0.1秒延时排列，可直观看到动态效果）以及1个云端运行说明文本，整体仅1.61MB，下载与部署都非常轻量。资源已有524人浏览学习。通过该资源，读者不仅能拿到四个不同版本的工作流，学习他人如何调整AnimateDiff与ControlNet参数来稳定线稿边缘，还能借助帧序列图直接当作动画素材预览，或作为合成用的序列帧；配套的云端运行说明也能帮助快速在无本地显卡的环境里跑通流程。适合希望系统掌握ComfyUI工作流搭建，或想快速产出线稿动画内容的中高级AIGC玩家。
1. ComfyUI + AnimateDiff + ControlNet 的 Lineart 动画：把静态线稿变成可控视频的完整管线
做角色动画最头疼的，不是画不出单帧，而是画完一张图之后，让它动起来。某开发者最初拿到这套资源时以为只是套了一个预设工程：加载工作流、填一个提示词、点运行就能导出动画。实际跑完一轮才发现，这套组合解决的其实是“结构不崩、运动不乱、线条可控”三件事：ControlNet 的 Lineart 用线稿锁住构图轮廓，AnimateDiff 负责在这张轮廓上生成运动帧，ComfyUI 把它们串成一条可批量复用的管线。单帧输入是一条线稿，输出是 16 帧或更多帧的连贯动画，适合做角色待机动作、动态插画、短视频素材的工作流。这套方案的直接价值就是：不训练 LoRA、不写关键帧动画脚本，靠纯推理管线，就能从静态画稿生成风格稳定的动态片段。新手能照着节点搭通，熟手可以替换线稿源和模型模块继续扩展。
2. 为什么是三个工具组合：管线里每个环节的不可替代性
2.1 三个组件各自的角色，不是简单叠加
ComfyUI 本身不生成动画，它是一个节点调度器。AnimateDiff 也不负责控制构图，它只负责“运动”。ControlNet 的 Lineart 类型则是所有崩坏风险的兜底方案。三者叠在一起时，ComfyUI 像流水线，AnimateDiff 是动力源，ControlNet 是夹具。某跨平台系统里做轨迹动画时，最容易出问题的环节就是“动力源把工件甩飞”——AnimateDiff 会产生强烈的帧间变化，如果结构约束不够，角色会在 2~3 帧内突变，轻则衣服抖动，重则五官融化。
用 Lineart 而不是 OpenPose 或 Canny 的原因在于，Lineart 提取的是完整边缘轮廓，它对“线稿”这种输入有天然适配性。Canny 看的是梯度噪点，OpenPose 只锁骨骼点，两者都需要额外预处理。Lineart 能直接把线稿或插画线稿转成结构图，塞进 ControlNet 作为引导条件。这让整个管线特别适合“角色设定图→待机动画”这种生成路径。
2.2 AnimateDiff 的运动模块是怎么工作的
AnimateDiff 在原本 UNet 的 attention 层之间插入了时间轴 attention 模块。普通 Stable Diffusion 在处理单张图时，UNet 只感知空间特征，而 AnimateDiff 让每一帧卷积输出同时携带“上一帧是什么样”“下一帧应该是什么样”的时间信息。这就是它生成序列时能保持运动连贯的原因。
它发布的运动模块有多个版本，SD1.5 底模通常对应mm_sd_v15系列，部分派生版如 v2 或 v3 在步数和帧长上做了增强。在 ComfyUI 里加载运动模块时，要严格匹配底模家族，否则会看到一种翻车现场：第一帧正常，从第二帧开始整张画面开始高频抖动。这个属于版本冲突，不是显存问题。
2.3 ControlNet Lineart 如何约束轮廓
ControlNet 的 Lineart 权重，本质是在去噪过程中把输入线稿的空间结构作为条件注入 UNet。每做一步采样，模型生成的 latent 特征都会和线稿的嵌入特征做一次对齐。结果就是：无论 AnimateDiff 让画面怎么动，角色的头部轮廓、肩膀角度都能被钳制在线稿允许的范围里。
这套机制决定了它适合“控制结构而非控制姿态细节”的场景。Lineart 不会冻结表情，也不会锁定手指关节，但它能保证大形不变。单帧线稿里画差的部分，会被它忠实地带到每一帧——这既是优点也是坑，后面会专门讲洗线稿的事。
2.4 模型匹配关系与显存预期
这条管线里模型匹配遵循一个简单规则：底模选 Stable Diffusion 1.5 架构，运动模块选 v1.5 匹配系列，ControlNet 选 Canny/Lineart 对应的 SD1.5 系列。使用 SDXL 底模时，要使用适配 XL 版本的 AnimateDiff 模块，但整体显存占用会跳跃式上升。常见做法是保留一张 SD1.5 底模，专跑动画管线，跑单图时再切回 XL 模型。这个切换习惯能省下大量反复调试 OOM 的时间。
显存预期方面，16G 显存跑 16 帧 512×768 分辨率是舒适区；8G 显存建议降到 12 帧以下并开启 fp16 模式。AnimateDiff 的时间注意力层会将 UNet 的中间特征复制到多个帧上，中间过程显存峰值大约是普通单图生成的 1.8~2.2 倍。这个数字在搭工作流之前先记在心里，能解释后续一半以上的报错。
3. 搭建工作流：从加载模型到导出视频的逐节点操作
3.1 前置准备：模型文件该放哪些目录
ComfyUI 的目录结构在首次启动时已经固定。放置路径如下：底模放models/checkpoints/，运动模块放models/animatediff_models/，ControlNet 模型放models/controlnet/，VAE 放models/vae/。AnimateDiff 运动模块的加载器节点内部会去animatediff_models目录找.ckpt文件，文件名可以随意，但后缀别改。曾试过把 motion module 改成.safetensors扩展名，加载器直接不识别；这是 ComfyUI 节点写死的行为，不是 bug。
ControlNet 的 Lineart 模型同样需要放在models/controlnet/，加载时优先选择全精度版本，fp16 版本在低显存下会轻微损失结构细节。比如换角色衣领方向时，fp16 版本可能出现线条纹路丢失，全精度版本会更扎实。
3.2 逐节点搭建：主干工作流
以下是一份可参照的节点序列，每个节点后贴了关键参数。建模语言为 JSON 格式，这是 ComfyUI 导出的默认工作流格式：
{ "1": { "class_type": "CheckpointLoaderSimple", "inputs": { "ckpt_name": "your_sd15_base_model.safetensors" } }, "2": { "class_type": "AnimateDiffLoaderV1", "inputs": { "model": ["1", 0], "model_name": "mm_sd_v15_v2.ckpt", "beta_schedule": "sqrt", "motion_scale": 1 } }, "3": { "class_type": "AnimateDiffEncode", "inputs": { "sample": ["4", 0], "model": ["2", 0], "frame_rate": 8, "loop": true } }, "4": { "class_type": "CLIPTextEncode", "inputs": { "clip": ["1", 1], "text": "a girl character, static pose, gentle idle breath, hand slightly moving, soft rim light, detailed illustration, clean lineart, simple background" } }, "5": { "class_type": "ControlNetLoader", "inputs": { "control_net_name": "control_v11p_sd15_lineart.pth" } }, "6": { "class_type": "ControlNetApply", "inputs": { "conditioning": ["4", 0], "control_net": ["5", 0], "image": ["7", 0], "strength": 0.85 } }, "7": { "class_type": "LoadImage", "inputs": { "image": "your_lineart.png" } }, "8": { "class_type": "KSampler", "inputs": { "model": ["2", 0], "positive": ["6", 0], "negative": ["9", 0], "latent_image": ["10", 0], "seed": 12345, "steps": 25, "cfg": 7.5, "sampler_name": "euler", "scheduler": "normal", "denoise": 1 } }, "9": { "class_type": "CLIPTextEncode", "inputs": { "clip": ["1", 1], "text": "blurry, distorted, low quality, deformed face, bad anatomy, extra limbs" } }, "10": { "class_type": "EmptyLatentImage", "inputs": { "width": 512, "height": 768, "batch_size": 16 } } }代码里的逻辑顺序是固定的：CheckpointLoaderSimple 把底模模型、CLIP、VAE 三类输出分离出来，模型输出接到 AnimateDiffLoaderV1，CLIP 输出接到文本编码器，VAE 输出在后端解码。AnimateDiffLoaderV1 会从底模中复制一份带时间层的新模型，所以节点 2 的输出要作为 KSampler 的 model 输入，而不是直接用节点 1 的 model。
如果这里不加载 AnimateDiff，直接让 KSampler 处理 16 帧 batch，画面会表现为“16 张几乎完全相同的图”，因为普通 UNet 没有时间信息，无法补出帧间差异。AnimateDiffLoaderV1 的motion_scale参数控制运动幅度，初始设 1 即可，超过 1.5 后轻微手部位移会变成大幅扭曲，这个值是幂敏感的。
ControlNetApply 节点接在 positive conditioning 之后，线稿图从 LoadImage 节点输入。strength建议落在 0.8~1.0 之间。低于 0.7 时，角色轮廓在每帧里会逐渐“漂移”，AnimateDiff 的运动权重会把线条逐步带偏。batch_size 从 16 起步，注意这里影响的是帧数，每帧是一张图，batch_size=16 生成 16 帧连续序列，其概念与单图生成时的 batch size 不同——视频帧数量等于 batch size 数值。
3.3 关键接线细节：为什么顺序错了会崩
实际操作中最常见的玄学翻车，是把 AnimateDiffLoader 接在 KSampler 之后。有些工作流示例会把模型加载器的 model 直接接到 KSampler 的 model 输入，另用一个 AnimateDiff 节点进行后处理。这个顺序从语义上搓，但执行上会把 UNet 特征变换放在采样结束后——此时 latent 已经被去噪成图像特征，再强行注入时间轴，画面在第三条边直接碎裂。
正确顺序永远是：CheckpointLoader → AnimateDiffLoader（在 UNet 进行采样之前插入运动模块）→ ControlNetApply（给 conditioning 加结构约束）→ KSampler。AnimateDiff 的时间模块是通过模型包装实现的，只有先包装，后采样，生成链路里才能带出时间维度。
4. 从复现到微调：读懂工作流参数背后的含义
4.1 从 JSON 里读出节点关系
一个 ComfyUI 工作流 JSON 的核心字段只有四个，其它都为冗余：class_type决定加载哪个节点类，inputs里写输入参数，_meta是 UI 层面的位置信息。连接关系通过 inputs 里的二维数组表达，比如["1", 0]表示取节点 1 的第一个输出。初学者读别人的工作流时，不需要关注_meta里的坐标值，那是 ComfyUI 画布上的显示位置。
拿到这套资源后，我一般会先把 JSON 丢进文本编辑器，检索所有class_type字段，看节点类型清单是否和预期一致。一个合格的动画工作流必然包含AnimateDiffLoaderV1、AnimateDiffEncode、ControlNetLoader、ControlNetApply、KSampler五类节点。若缺少 AnimateDiffEncode，说明该工作流只做了图生图，没有真正的帧间运动。
4.2 动画工作流里最值得调整的三组参数
第一组是采样器选择。在生成动画时，euler配合normal调度是稳妥路线，画面不会在每帧之间出现剧烈色彩跳变。尝试换用dpmpp_2m时，运动幅度会变得稍微清晰，但每帧的颜色略有分离感，如果角色穿浅色衣服会在边缘出现彩虹纹，这个在动画帧序列中非常明显。
第二组是 CFG 值。单帧生成时 CFG=7 到 8 是常见区间，但动画序列里 CFG 过高会让每帧的明暗对比被过度强调，运动区块的边缘会出现残影式暗边。建议把 CFG 降到 5.5~6.5。SD1.5 底模本身是在中等分类器自由度的数据集上训练出来的，CFG 高于 8 时细节反而被削平。
第三组是 seed 值。同一套节点，同一套参数，只换 seed 时得到的动画风格会完全不一样。如果只想微调动作，比如让角色从“呼吸起伏”变成“头发飘动”，单独换 seed 往往不够，还需要把提示词里的运动描述同步调整。seed 负责的是随机噪声分布的初始状态，它决定的是“运动的自然度”，而不是“运动的类型”。
# 这是 ComfyUI 外部脚本处理多组动画的示意 # 实际运行时，脚本只改 seed，其它参数不变 for seed_id in range(3): set_seed(seed_id * 100) run_workflow("animation_lineart.json") save_frame_sequence(f"output_{seed_id}")这个脚本演示的是跑批思路。跑不同 seed 时，输出序列要按 seed 编号保存，方便后续比对哪一组动作最自然。AnimateDiff 的帧间连贯程度无法通过单张预览判断，必须导出序列后逐帧回放，盲选 seed 等于在开盲盒。
4.3 把工作流改造成自己的：换线稿和换底模
硬件不变的情况下，最有效的换风格方式是替换底模。比如从通用漫画底模换成偏厚涂插画底模，角色的质感和阴影风格会整体变化。但运动模块要跟着底模架构走——SD1.5 底模配 SD1.5 运动模块，换成独立风格化底模时需确认它是否保留了标准 UNet 架构。许多偏风格化的模型是从 SD1.5 直接精调来的，这类模型可以直接用 v1.5 运动模块，无需额外处理。
线稿替换上没有架构问题，但需要做两项预处理：一，线稿背景必须干净，不建议直接用白纸上的铅笔线稿扫描图，最好用二值化处理成黑白两色；二，线稿主体要完整闭合，断裂的关键轮廓线，比如衣领折线、发际线，会在运动时被 AnimateDiff 放大成抖动瑕疵。这里的“闭合”不要求完全封口，但要保证主要轮廓的形状信息足以被 ControlNet 识别。
5. 避坑与常见问题：动画管线最容易翻车的四件事
5.1 显存不足：batch_size 一调就到了 OOM 边缘
现象：单图生成完全正常，改成 16 帧后采样到第 3~4 步直接报 CUDA out of memory，更严重的直接整张工作流体崩溃。
原因：AnimateDiff 的时间注意力实现方式是把帧序列沿 batch 维度合并，在每一层 attention 计算时，前向传播的特征矩阵是原来的 batch 数倍。同时latent 张量从 4 维扩展为 5 维时，部分 ViT 风格的 attention 算子内部会额外复制一份显存，这个临时拷贝难以估计。
解决：优先把 batch_size 从 16 降到 12 或 8，分辨率从 768×768 降到 512×512；再开启 fp16 模式，位置在 ComfyUI 启动参数--fp16里。显存占用还高时，把AnimateDiffLoaderV1里的motion_scale改小一点，它和显存没有直接关系，但能在低显存环境下减轻 UNet 的推理压力，属于间接止损。建议 24G 显存以下均先跑 8 帧作为验证，确认效果后再拉高帧数。
5.2 画面像“融化的油画”：CFG 设置踩坑
现象：生成结果中每一帧静态看能看出形状，但连续播放时，角色脸部轮廓开始像液体一样流动，线条边缘出现不规则的扩散。
原因：在这个管线里，ControlNet 控制的是空间结构，AnimateDiff 控制的是时间变化，但如果 CFG 过高，无分类器引导会强制每一帧朝“提示词匹配度最高”的方向推——当这个方向存在多个解（厚涂风格 vs 线条边缘明确），时间轴上的差异就会被放大成流动感。这就是典型的“每帧合理，连起来崩”。
解决：把 CFG 从默认 7.5 降到 5.5。如果还明显，再检查采样器是否用了dpmpp_2m_sde，SDE 类采样器本身会在高频细节上加入更多噪声，更容易放大帧间闪跳，换成euler或ddim会更稳。
5.3 动作幅度不在预期：运动参数与帧数不匹配
现象：设置运动参数后，角色手臂只是微微颤动，达不到想要的挥手效果；或者动作幅度大到每帧都在剧烈抖肩。
原因：帧数和motion_scale是耦合的。帧数多时（16帧以上），单帧之间的位移被分散，观感平滑但幅度偏小；帧数少时（8帧），单个动作要在更少的帧内完成，每帧位移自然变大。如果只调motion_scale不调帧数，会发现“幅度变大”和“抖动变多”同时出现——因为时间轴上没有足够的帧来平滑这个位移量。
解决：固定动作幅度，先锁定帧数，再调motion_scale。我一般先跑 16 帧 + motion_scale 1.0，观察动作是否足够；幅度不够时直接翻倍帧数到 24，然后 motion_scale 升到 1.2。反过来，帧数少时要克制，别把 motion_scale 顶到 1.5 以上，这一步的翻车几乎是必然的。
5.4 角色结构不受控：线稿本身有噪点
现象：播放动画时角色大形没崩，但肩膀、衣领、发尾这些位置出现“线条呼吸”——线稿的边缘在每帧之间轻微缩放，形似呼吸灯。
原因：ControlNet 的 Lineart 模型对输入线稿的干净程度敏感。如果线稿是从灰度插画里直接提取的，边缘会带有深浅不一的灰度过渡，这在线稿里被模型理解为不同的结构距离，AnimateDiff 带着这个不确定量做时间扩散，每帧对线条边缘的解读就不同。
解决：预处理线稿组件，把线稿转成纯黑白二值图，这一步可以在 ComfyUI 里用图像处理节点做，也可以在外部 PS 里完成。条件允许的情况下，线稿分辨率不低于 1024px，低于这个值模型会把粗线条识别为重结构，线条外观在动画中会显得僵硬。
6. 把单张图变成首帧动画：锁定运动路径的关键手法
动画生成不只有“线稿到动画”一种路径。实际工作中经常遇到的情况是：已经有一张渲染好的静态插画，希望让它动起来。这条路径里，输入的线稿图要换成角色插画本身，但这会带来一个问题——ControlNet Lineart 接收的是线稿，不是上色图，不能直接把插画塞进去。
常见做法是先把插画提取成线稿，再把线稿和插画同时送入工作流。做法细节：提取线稿用的是LineartAnime预处理器节点，输出一条纯边缘图，这条边缘线稿送入 ControlNetApply，插画原图则通过额外节点送入 latent。在 ComfyUI 节点里，具体操作是将原图 resize 后做 Crop，再接 VAE Encode，得到初始 latent，然后由 KSampler 对 latent 进行采样。
# 伪代码示意：首帧锁定 if use_first_frame_lock: latent = encode_frame(first_frame) # 插画编码成 latent control_image = extract_lineart(first_frame) # 提取线稿 result = sample(ksampler, latent, control_image) else: result = sample(ksampler, empty_latent, lineart_image)这个流程能限制住第一帧的构图，AnimateDiff 的时间模块则负责生成后续运动帧。逐帧动画行业里这叫做“母棒加蛇形二拍法”，在本地工作流里同样要从首帧开始推。
运动路径锁定的第二个技巧是设置AnimateDiffEncode节点里的frame_rate参数。默认 8 适合做呼吸类的微动，调成 16 会让动作产生明显的节奏感。但帧率本身不影响导出的视频文件 FPS，它只负责时间轴上的运动速度感知。想要导出 30FPS 的视频，需要在最终输出节点里设置 sync 参数。
从那以后，我每次搭 AnimateDiff 动画工作流，都会先检查三件事：运动模块版本是否和底模架构匹配、batch_size 是否超过显存承受范围、ControlNet strength 是否落在 0.8 以上。这三条不满足，效果必然翻车，跑再多次也是重复同样的错误。如果你也拿这套资源做自己的动画管线，我建议你先把别人调好的工作流原封不动跑一遍，再开始改参数——先复现，后创造，能省掉 70% 的定位时间。希望这套拆解能帮你在自己的动画工作流里少踩几个坑。
本文还有配套的精品资源，点击获取
