ComfyUI+AnimateDiff+ControlNet动画工作流：OpenPose与Depth实战

简介：面向数字媒体与AI动画创作者的技术资源包，整合了ComfyUI、AnimateDiff、ControlNet与Openpose+Depth四类核心工具的协作案例，呈现从静态关键帧到动态视频的完整生成流程；资源尤其适合希望快速上手AI辅助动画的用户，也适合需要参考工作流设计的中高级开发者。压缩包内共202个文件，主体为200张关键帧JPG图像，可直接逐帧观察动画变化；另附1个演示MP4和1个JSON工程文件，分别用于查看最终效果与还原生成链路。包体仅8.27MB，下载与携带都很方便，目前已有767人学习使用。透过帧序列可以对比不同阶段的动作差异，MP4能直观展示动画动态，JSON配置则保留了节点连接与参数设置，便于理解ComfyUI流程中的ControlNet控制逻辑及AnimateDiff的插帧方式，也可作为个人项目的修改起点；对钻研运动生成、人体姿态驱动或自动化动画流水线的读者，是一份小巧而扎实的参考资料。

1. 静态图变活：ComfyUI+AnimateDiff+ControlNet的OpenPose与Depth动画链路

ComfyUI里最让人上头的玩法之一，就是用AnimateDiff让一张静态角色图动起来，再用ControlNet的OpenPose锁动作、Depth锁空间。这套组合不靠逐帧手绘，也不靠视频重绘，而是把一张图放进时间维度的扩散模型里，让模型自己补出中间帧。对于做角色待机动画、产品摆拍视频、甚至把舞蹈视频迁移到角色身上的场景，这套工作流比传统的骨骼绑定渲染快一个量级。你不需要完全理解diffusion原理，但这套工作流的节点顺序、模型版本、权重配比，任何一个细节不对，出来的就是闪烁、变形、角色“融化”的结果。这篇笔记把ComfyUI整合包里的这条动画链路从头拆一遍，把节点、参数、踩坑点全摆出来。

2. 三条工具链的分工：AnimateDiff让画面动起来，ControlNet让动作不跑偏

2.1 AnimateDiff：在潜空间里做时间维度的扩散

AnimateDiff不是简单的“视频生成插件”。它的核心思路是在Stable Diffusion的潜空间里加一个时间注意力模块，把原本只处理单张图的UNet变成可以同时处理多帧的UNet。换句话说，它让模型在生成每一帧的时候，不仅看当前帧的图像特征，还看前后帧的时间特征，从而保证帧与帧之间的连续性。

我一般推荐用Motion Module版本，也就是AnimateDiff的运动模块。在ComfyUI里，你只需要在加载完Checkpoint之后接一个AnimateDiff Loader节点，选择对应的运动模型文件（比如mm_sd_v15_v2.ckpt），再设置帧数和步数。常见的帧数是16帧，对应一个短视频片段，步数通常设定在20-30之间。如果你要更细腻的动作，可以加Motion LoRA，把动作从简单的摇摆变成走路、转头这类更具体的运动。

这里有个容易忽视的前提：AnimateDiff的分辨率和底模必须匹配。SD1.5系的底模配512x512或更小的分辨率，SDXL系的底模配1024x1024。如果你拿SDXL底模硬跑512的帧，出来的往往是糊成一团。另外，AnimateDiff Loader里的batch_size参数不要乱调，它和帧数不是同一个概念，后面第3章我会专门展开讲。

2.2 ControlNet-OpenPose：骨架约束，动作才不散架

AnimateDiff负责“让画面动起来”，但它不知道动作应该怎么动。如果你让一个角色“跳舞”，AnimateDiff可能只会让角色轻微抖动或者肢体扭曲，因为它没有语义约束。这时候就需要ControlNet-OpenPose上场。

OpenPose ControlNet的作用是提取骨架（骨骼关键点），然后用这些关键点去约束生成画面的姿态。在动画工作流里，它有两个作用点：一是用一张参考图的骨架锁定首帧的姿态，让角色“从这张图出发”；二是用一段视频的骨架序列引导整段动画的动作轨迹，比如从舞蹈视频里抽出的骨架，可以让角色按同样的动作路径运动。

在ComfyUI里，OpenPose的接入方式是：先接一个ControlNet Loader节点，选择openpose的controlnet模型（比如control_v11p_sd15_openpose），再通过预处理器提取骨架。注意，预处理器和ControlNet模型是两回事：预处理器负责把图像转成骨架图，ControlNet模型负责把骨架图转成控制信号。很多人搞混了这两个环节，导致生成结果完全没有姿态约束，以为“ControlNet没生效”，其实是预处理器的输出根本没进到后面。

2.3 ControlNet-Depth：深度信息，空间关系才稳

OpenPose管姿态，Depth管空间。OpenPose只能约束人体骨架的关键点位置，但对物体的前后遮挡关系、身体和背景的距离层次无能为力。Depth ControlNet的作用是提取场景的深度图，让画面里的物体保持正确的空间关系。

具体到动画场景里，Depth的作用体现在两个地方：第一，当背景中有物体靠近角色时，深度信息能防止物体“穿模”或“粘在一起”；第二，当镜头本身有推拉摇移时，Depth能保证画面的透视关系在运动过程中不崩。在ComfyUI里接Depth ControlNet的方式跟OpenPose类似，只是模型换成control_v11f1p_sd15_depth，预处理器一般用MiDaS或Zoe。

一个常见的操作是把OpenPose和Depth两个ControlNet串在同一个采样器上，分别设置不同的权重。以我自己的经验，OpenPose权重0.85-1.0，Depth权重0.6-0.8，配合起来最稳。OpenPose给高了会把角色压成“木偶感”，动作发僵；Depth给高了会让画面变得过于僵直，缺少动画该有的弹性空间。

3. 把OpenPose和Depth接进动画工作流：节点连接、模型文件与参数设置

3.1 最小可运行工作流的节点拓扑

先说清楚这套工作流的结构。它不是一个“一张图直接变成动画”的魔法盒子，而是一条有明确顺序的节点链。以下是我在秋叶ComfyUI整合包里复现时验证过的最小拓扑，从加载模型开始，到输出视频结束，一共10步。

Load Checkpoint (SD1.5系) ├─ VAE Decode -> 用于预览首帧 ├─ CLIP Text Encode -> 正向/负向提示词编码 ├─ AnimateDiff Loader -> 加载运动模块 ├─ ControlNet Loader (OpenPose) -> 加载openpose控制模型 ├─ ControlNet Loader (Depth) -> 加载depth控制模型 └─ KSampler -> 输出latent └─ AnimateDiff Combine -> 合并时间维度 └─ VAE Decode -> 帧序列 └─ Video Combine -> mp4输出

这10步是骨架，实际的ComfyUI工作流JSON里会多出几个辅助节点，比如Preview Image、Load Image、VAE Loader，但主干就是上面这条。下面这段代码是工作流JSON里最关键的部分——两个ControlNet的控制条件如何叠加在同一个采样器上。

{ "nodes": [ { "type": "ControlNetLoader", "inputs": { "control_net_name": "control_v11p_sd15_openpose.pth" } }, { "type": "ControlNetLoader", "inputs": { "control_net_name": "control_v11f1p_sd15_depth.pth" } }, { "type": "ControlNetApplyAdvanced", "inputs": { "strength": 0.85, "start_percent": 0.0, "end_percent": 1.0 } } ] }

这段JSON的意思是：同时加载OpenPose和Depth两个ControlNet模型，通过ControlNetApplyAdvanced节点把它们叠加到采样器的输入条件里。strength参数控制整体控制强度，start_percent和end_percent分别控制介入采样的起始和结束位置。如果你只想让ControlNet在采样的前半段起作用，把end_percent改成0.6即可，后半段让AnimateDiff自由发挥。

动手复现的时候注意一点：ControlNetApplyAdvanced节点在ComfyUI的旧版和新版里字段名略有不同。旧版叫ControlNetApply，新版叫ControlNetApplyAdvanced，后者多了start_percent和end_percent。如果你的ComfyUI里找不到Advanced版本，说明核心版本低了，建议把整合包升级到较新版本。

3.2 关键参数：帧数、步数、CFG与ControlNet权重

参数是这个工作流里最容易翻车的地方。我按优先级从高到低排了一张表，照这个基准去调整，成功率最高。

说几个容易忽略的点。帧数和Batch Size不是一回事。帧数是AnimateDiff的Motion Module要处理的连续帧总数，Batch Size是同时送入GPU的帧批次数。在ComfyUI里，AnimateDiff Loader有一个batch_size参数，如果你显存够大可以设2或4，把帧分成多个batch循环处理，但总和必须能被batch整除。我常在16帧的基础上用batch_size=2，16帧分8次跑完，既省显存又能看中间进度。

步数和CFG这两个参数的联动值得单独说。AnimateDiff的时间注意力模块会在采样早期先定大动作，后期细修纹理。如果CFG设得太高，早期大动作会锁定得太死，后期细修时角色容易抖动。一个稳妥的组合是：步数24、CFG 7.5。如果你想收紧细节，把步数提到30，再把CFG降到6.5，效果往往比反向调整更稳。

3.3 提示词怎么写给动画用：正向、负向与统一性

静态图的提示词可以随便写，动画不行。动画里最怕的是帧与帧之间的角色特征不一致。如果正向提示词里只写了“1girl”，没写发色、服装、眼睛颜色，AnimateDiff很容易在16帧里给角色换三次头发颜色。

我给这套工作流准备的提示词模板是固定的三段式。第一段写角色特征，第二段写动作，第三段写环境光。负向提示词用通用的一套，覆盖低质量和变形。

正向提示词: 1girl, black long hair, blue eyes, white dress, dancing, dynamic pose, soft studio lighting, indoor scene, high detail, sharp focus 负向提示词: lowres, bad anatomy, bad hands, missing fingers, extra digits, deformed, blurry, jpeg artifacts, watermark, worst quality, normal quality

提示词的长短和AnimateDiff的连续性有直接关系。太长会稀释关键词的权重，太短则缺少约束细节。我一般把正向提示词控制在40个token以内，把最影响角色识别的特征（发色、发型、瞳色、服装主色）放在前五个词。这五个词是角色一致性的“定海神针”，在16帧里基本不会跑偏。

4. 动画生成避坑：翻车现象、根因与排查记录

4.1 显存不够直接崩：OOM的三种解法

现象：跑第10帧的时候ComfyUI直接报CUDA out of memory，工作流卡死在采样器节点。

原因：AnimateDiff的时间注意力和ControlNet的控制条件都要占用显存，16帧512x768在8G显卡上几乎必爆，这是显存墙，不是设置问题。

解决：三种办法按优先级来。第一，把VAE Decode放在采样完成后一次解码，不要在中间穿插临时预览；第二，在ComfyUI里用AnimateDiff的batch_size=1配合Tiled VAE节点，组合降低显存峰值；第三，把分辨率降到512x512。如果还爆，只能用--lowvram启动参数跑ComfyUI，帧数降到12。经过实际测试，12帧16步8G显存能跑完，但余量已经很紧张了。打开任务管理器看GPU占用，如果稳定在90%以上，说明显存快满了，宁肯降帧数也不要硬撑。

4.2 画面明显闪烁：Seed、帧数与ControlNet权重的组合问题

现象：生成的视频单帧看是清晰的，连起来每隔几帧亮度或色调跳变，人物边缘有紫边。

原因：闪烁的本质是帧间信息不一致。常见的触发条件有三个：采样器没有固定Seed，AnimateDiff每帧都从不同随机数出发；ControlNet权重过高导致每帧的姿态约束不连贯；VAE解码时用了分块模式造成的明显接缝。

解决：先把Seed固定成一个奇数，比如12345，再跑一遍。如果闪烁依旧，把OpenPose权重从0.9降到0.8，或者把Depth权重从0.7降到0.6。还有一个容易被忽略的细节：16帧的步数不要设为25的倍数（比如25、50），因为这类数值会让采样器在中间步长上出现相位对齐，表现为快速抖动。用24、28、30这类数字更稳。

4.3 OpenPose骨架不跟手：预处理器选型与姿态检测失败

现象：输入的舞蹈视频明明是跳跃动作，生成的动画角色像是在原地踏步；或者骨架图有，但角色动作跟骨架完全不符。

原因：第一，预处理器选错了。OpenPose的预处理器在ComfyUI里有好几个变体，包括openpose、dw_openpose_full和controlnet_openpose。dw_openpose_full是精度最高的，但需要联网下载额外模型文件；如果用openpose这个旧版本，对于复杂姿态（手指交叉、腿部遮挡）识别率很低。第二，骨架本身就不准，ControlNet只是遵守了一个错误的骨架。

解决：先单独把输入视频抽帧，用预处理器跑一遍骨架图，肉眼看骨架是否贴合原视频。贴不上就换预处理器，或者手动修骨架图的关节点。ComfyUI里有编辑骨架图的节点（Openpose Editor），把错误的关节点拖到位再送进工作流。这个环节是这条链路里最花时间的，血泪经验就是：骨架不准就别指望ControlNet能“脑补”出对的动作。

4.4 模型缺失导致紫屏黑屏：模型路径与ComfyUI管理器

现象：报错信息里出现No such file: models/controlnet/control_v11p_sd15_openpose.pth，或者生成的视频没有画面、全是紫噪点。

原因：ControlNet模型文件没有放到正确的目录。ComfyUI的模型查找路径是固定在ComfyUI/models/controlnet/下，不是其他目录。很多整合包有独立的模型文件夹管理，如果手动把.pth文件放错地方，运行时根本找不到。

解决：直接改ComfyUI的extra_model_paths.yaml文件，把模型路径指向你的真实下载目录。下面是一个典型的配置：

comfyui: base_path: D:/ComfyUI/ controlnets: - D:/models/controlnet/ checkpoints: - D:/models/checkpoints/

注意一个优先级问题：base_path下的模型只作为兜底，实际加载时优先看extra_model_paths.yaml里显式指定的目录。改了文件后要重启ComfyUI才能生效，不要热加载。如果你用的ComfyUI Manager，可以用“Fix Missing Models”按钮自动识别缺失模型，但前提是你已经在自己机器上装了模型文件，它只能帮你指向正确的路径，不能凭空下载。

5. 从单段动画到连续镜头：关键帧锁定与角色一致性验证

5.1 用ControlNet的start_percent/end_percent做动态权重曲线

单段16帧动画只是起点。如果你要做10秒以上的连续镜头，一个通用做法是把整段动画拆成多个16帧片段，分别生成后再拼接。但直接拼接会有镜头切换的突兀感，因为AnimateDiff每段的运动方向和细微光照都是独立的。

我处理这个问题的办法是利用ControlNet的start_percent和end_percent做“控制权重的斜坡”。比如第一段以OpenPose权重0.9起步，到第16帧降到0.7，第二段从0.7起步回到0.9，这样两段之间的动作速度是平滑过渡的。在ComfyUI里可以用Scalar节点，或者用Python脚本批量修改JSON来实现权重插值。

下面的Python脚本是这类批处理的常用原型，它读取工作流JSON，循环修改ControlNetApplyAdvanced的strength字段：

import json with open("workflow_template.json", "r", encoding="utf-8") as f: wf = json.load(f) for node in wf["nodes"]: if node["type"] == "ControlNetApplyAdvanced": node["inputs"]["strength"] = round( min(0.9, node["inputs"].get("strength", 0.85) + 0.03), 2 ) with open("workflow_segment_02.json", "w", encoding="utf-8") as f: json.dump(wf, f, ensure_ascii=False, indent=2)

逻辑说明：这个脚本遍历工作流里所有节点，找到ControlNet节点，每次把strength加0.03，封顶0.9。你可以用它为每一段动画生成不同的权重配置。参数说明：min(0.9, ...)里的0.9是上限，0.03是每段的增量，如果要更平缓的过渡，把增量改成0.01即可。

5.2 跨分段保持角色一致性：Latent回收与Seed链

连续镜头和多段动画最头疼的问题是角色特征漂移。第一段的红裙子到第二段变成了蓝裙子，虽然提示词写的都是“red dress”。原因在于AnimateDiff的每段生成是从独立随机噪声开始的，它对Latent的初始分布没有继承关系。

解决方案有两个。方案A是“Latent回收”：把前一段的最后一个Latent作为后一段的初始Latent，而不是从纯噪声开始。在ComfyUI里可以用LatentComposite节点把前一段的最后一帧接进后一段的起始位置，做一个首尾帧的混合过渡。方案B是“Seed回收”：后一段采样器的Seed设成前一段的Seed加一个固定增量（比如+137），这样随机噪声序列是相近的，角色表现会更稳定。

我一般两种方案叠加用。先回收Latent，再沿用Seed链递增，角色一致性的保持率能达到90%左右。注意，回收Latent会限制后一段的运动自由度，如果后一段动作变化很大，要把Latent混合权重降到0.3以下。

5.3 用FFmpeg抽帧验证画面连贯性

AnimateDiff生成出来的是一堆单帧，ComfyUI的Video Combine节点会帮你合成mp4。但我多说一句：合成后的视频最好用FFmpeg再抽帧回看，因为Video Combine默认的合成参数可能压掉了帧间的差异信息，特别是快速运动的边缘。

我的验证流程是这样的：先用工作流输出png序列，再用FFmpeg以30fps拼成无压缩的mp4，然后逐帧抽查关键位置的画面。

ffmpeg -framerate 30 -i frame_%04d.png -c:v libx264 -crf 18 -pix_fmt yuv420p output.mp4

参数说明：-framerate 30是播放帧率，-crf 18是质量参数，数值越小画质越好（18在肉眼上接近无损），-pix_fmt yuv420p是兼容性编码，确保在浏览器和播放器里能正常播放。如果你要做的是角色待机动画，其实不需要高fps，24fps更贴近动画质感。

抽帧后我会用快速播放的方法检查闪烁：把视频加速到8倍速，如果快速闪现的帧中没有明显的“跳色”，说明连贯性及格；如果加速后能看到类似打字机闪烁的效果，说明采样器步数或CFG还需要微调。

6. 一个让AnimateDiff质量稳定的技巧：先跑单帧，再跑整段

6.1 单帧验证的三项检查点

这个技巧可以说是整套动画工作流里性价比最高的一个。很多人拿到工作流后直接按16帧跑，结果参数调了半天，出来的动画依然闪烁变形。我的习惯是：任何新项目，第一次跑永远只跑1到2帧。

什么叫先跑单帧？就是把AnimateDiff Loader的帧数从16改成1，ComfyUI会直接走单帧的SD管线，不经过时间模块。跑单帧的意义在于验证三个东西：第一，底模和角色提示词是否匹配。如果单帧生成的角色都不像，动画更不可能像，这里先把角色形象敲定。第二，ControlNet的骨架和深度控制是否生效。单帧里就能看出姿态是否贴合骨架图，深度关系是否正确，不用等16帧跑完才后悔。第三，采样器和CFG参数是否合适。单帧的速度是16帧的十几分之一，迭代测试成本极低，调参效率高得多。

具体操作是这样：把帧数改成1，固定Seed先跑一张。如果单帧没问题，再把帧数改回16，用同一组Seed、同一组提示词跑整段。这一步能筛掉至少70%的无效生成，剩下的30%才是运动层面的问题，比如动作太僵、过渡不顺、局部抖动。这时候再微调AnimateDiff的运动模块或ControlNet权重，针对性明确，排错速度快很多。

还有一个小技巧同样值得养成：每跑完一段动画，把当时的完整参数截屏存档，包括Seed、CFG、步数、所有ControlNet的strength和start_percent/end_percent。后面如果翻车了，翻一下存档就知道是哪次调整导致的，不用靠记忆去猜玄学参数。从那以后我每次调试新动画，都强制走一遍“单帧先行”的流程，先确认静态图是OK的，再跑到动态段，从源头上避免了大量浪费时间和显存的无效参数实验。希望帮到你。

本文还有配套的精品资源，点击获取