ComfyUI+AnimateDiff+ControlNet：静态图转可控动画的完整工作流指南

简介：这份压缩包聚焦ComfyUI、AnimateDiff、ControlNet与Openpose+Depth的协同动画生成流程，适合对AI动画、姿态驱动和深度引导感兴趣的中高级用户。包内共202个文件，约8.27MB，其中200张jpg为关键帧序列截图，可直观了解动画插值与姿态变化细节；1个mp4为成片演示，便于快速预览效果；1个json为工作流配置，能帮助还原节点搭建逻辑和参数设置。已有777人下载学习，适合希望借助现有案例降低门槛、快速复现方案的创作者。通过对照帧序列与视频输出，可进一步理解AnimateDiff的差异计算、ControlNet的行为控制以及Openpose+Depth在人体动作数据上的作用，为后续改进自己的动画项目提供参考。

1. ComfyUI + AnimateDiff + ControlNet：一整套把静态图变成可控动画的资源包

做动画这件事，过去要么靠逐帧手绘，要么靠视频编辑软件一帧帧抠关键帧，时间成本高到劝退。后来有了 AnimateDiff，能用文本生成动态视频，但问题随之而来——纯文本驱动的运动太随机，角色姿势、镜头结构完全不可控，生成出来的东西经常像“抽奖”。这套资源包解决的正是这个痛点：它在 ComfyUI 里把 AnimateDiff 和 ControlNet 的 Openpose、Depth 两个条件控制结合起来，让你能用一张参考图或一段姿态序列，锁定动画里人物的动作和画面深度结构，生成结果从“随缘”变成“可控”。适合已经玩过 ComfyUI 基础文生图、想进一步做动画短视频的从业者，也适合刚入行但愿意折腾节点的新手。这里我拆的是这套工作流的完整落地过程，包括节点怎么搭、参数怎么设、哪些地方最容易翻车。

2. 先搞懂三个模块各自干什么：AnimateDiff 管运动，ControlNet 管结构

2.1 AnimateDiff 的运动模块到底怎么工作

AnimateDiff 本质上是一个插在 Stable Diffusion 模型中间的运动生成模块。普通文生图只生成一张静态图，AnimateDiff 通过引入 temporal attention 机制，让模型在生成连续帧时能参考前后帧的语义信息，从而产生连贯的运动。它不是一个独立的模型，而是一个附加模块，需要配合底模使用，比如 SD 1.5 系列的写实模型或二次元模型。

在 ComfyUI 里调用 AnimateDiff 时，核心节点是AnimateDiffLoader或AnimateDiffSampler。前者负责把运动模块注入到模型管线里，后者负责在采样阶段执行多帧生成。我一般用 AnimateDiffLoader 配合ADApplyAnimateDiff节点组合，加载 motion module 文件（.ckpt格式），然后设定帧数、运动强度这些关键参数。

这里有个关键认知：AnimateDiff 生成的是连续帧序列，不是视频文件。它在 latent 空间里一次性生成 N 帧的潜在表示，然后再通过 VAE 解码成图像序列。所以你在工作流里看到的“视频”实际上是多张图片的合成，最后用VideoCombine节点或者外部工具把帧序列合成 mp4。

2.2 ControlNet 的 Openpose 和 Depth 分别锁住什么

ControlNet 是一个条件控制模块，它通过附加网络结构，在生成图像时额外接收一张控制图（condition map），从而约束生成结果的空间结构。Openpose 控制的是人体姿态，它会提取参考图像中的人体骨骼关键点（关节、四肢、头部位置），生成时强制让输出图像中的人物姿态符合这套骨架。

Depth 控制的是深度信息。它用深度估计模型提取画面的前景、背景层次关系，生成时保持这种层次结构不变。在动画场景里，Depth 适合锁定镜头运动和场景结构，比如人物在场景中的相对位置、背景的远近关系，即使人物姿态变化，场景透视也不会崩溃。

Openpose 和 Depth 的区别在动画里的使用场景非常明显：Openpose 管“人怎么动”，Depth 管“场景结构怎么稳”。如果你只想要人物做动作，背景自由发挥，可以只用 Openpose；如果你想要镜头推拉摇移，或者人物在复杂场景中保持空间一致性，就要把 Depth 也加上。

2.3 模型选型：底模、运动模块、ControlNet 模型怎么配

这套资源包的工作流里，模型搭配是决定成败的第一关。底模我建议使用 SD 1.5 架构的写实或半写实模型，因为 AnimateDiff 目前对 SD 1.5 的支持最成熟，SDXL 的动画方案也有但节点生态还不稳定。运动模块用 AnimateDiff 官方提供的 v3 版本，它比 v2 在运动连贯性上提升明显，尤其是在大幅度动作时不容易出现闪烁。

ControlNet 模型要对应底模架构，SD 1.5 底模就配 SD 1.5 的 Openpose、Depth 模型。具体来说，Openpose 用 ControlNet 官方的control_v11p_sd15_openpose，Depth 用control_v11f1p_sd15_depth。这两个模型文件比较大，但都是直接放进 ComfyUI 的models/controlnet目录即可。

3. 从零搭建整套工作流：节点怎么连、参数怎么设

3.1 准备环境：目录结构、模型存放位置、ComfyUI 启动参数

先把环境理清楚。假设你已经装好了 ComfyUI，项目包里的东西需要往对应目录里放。最常见的做法是保持 ComfyUI 默认目录结构，把资源包里的models文件夹合并进 ComfyUI 的models目录：

# 假设 ComfyUI 安装在 /opt/ComfyUI # 项目包解压后的目录结构大致如下： # - models/ # - motion_modules/ # - controlnet/ # - workflows/ # - animate_openpose_depth.json # - output/ # 合并模型目录 cp -r /path/to/downloaded_package/models/* /opt/ComfyUI/models/ # 确认文件已就位 ls /opt/ComfyUI/models/motion_modules/ # 应该能看到 mm_sd15_v3.ckpt 之类的运动模块文件 ls /opt/ComfyUI/models/controlnet/ # 应该能看到 control_v11p_sd15_openpose.pth 和 control_v11f1p_sd15_depth.pth

目录放好后，启动 ComfyUI 时建议加--cuda-malloc参数，能减少显存碎片化，在长序列生成时有一定帮助：

cd /opt/ComfyUI python main.py --cuda-malloc --disable-metadata

--disable-metadata是去掉生成图片里的工作流元数据，减少输出文件体积。如果显存不够 8G，还要在启动参数里加--lowvram或--medvram，这个后面避坑章节会细说。

3.2 核心节点链：从加载底模到输出视频的完整路径

工作流的核心链路是：加载底模 → 注入 AnimateDiff 运动模块 → 加载 ControlNet（Openpose 和 Depth 两个分支） → 设置正向/负向提示词 → 采样器多帧生成 → VAE 解码 → 帧序列合成视频。

ComfyUI 的工作流是 JSON 文件，可以用workflows/animate_openpose_depth.json直接导入。如果你习惯自己搭，我拆几个关键节点的配置给你看（以 JSON 片段形式，方便你对照自己的工作流）：

{ "class_type": "AnimateDiffLoader", "inputs": { "model": ["CheckpointLoaderSimple", 0], "motion_module": ["MotionModuleLoader", 0], "beta_schedule": "sqrt_linear", "motion_scale": 1.0, "apply_mm_groupnorm_hack": true } }

beta_schedule用sqrt_linear是官方推荐，运动尺度motion_scale控制运动的整体幅度。数值越大运动越夸张，但超过 1.3 之后画面容易崩，我一般保持在 1.0 上下。

ControlNet 节点的接法要特别注意——Openpose 和 Depth 是并联结构，不是串联：

{ "class_type": "ControlNetApplyAdvanced", "inputs": { "positive": ["AnimateDiffLoader", 0], "negative": ["AnimateDiffLoader", 0], "control_net": ["ControlNetLoader", 0], "image": ["LoadImage", 0], "strength": 0.75, "start_percent": 0.0, "end_percent": 0.8 } }

这里重点说下strength和end_percent。Openpose 的strength控制姿态约束强度，数值越高人物越贴骨架，但太高会让画面生硬、动作不自然。Depth 的strength控制深度约束强度，数值太高会导致画面细节丢失、背景死板。我常用的组合是 Openpose 0.75、Depth 0.6，两个控制条件叠加时不要都拉到 0.9 以上，否则模型会被约束死。

start_percent和end_percent控制 ControlNet 生效的时间段。0.0 到 0.8 的意思是采样过程的前 80% 步骤中启用 ControlNet 约束，最后 20% 释放约束让细节自由发挥。这个设计能避免控制条件在采样后期产生过度拟合，画面质感会更自然。

3.3 采样器与关键帧参数：帧数、步数、CFG 怎么协调

采样参数是动画质量的直接决定因素。我给你们一组实测可用配置：

# 以 16 帧、768x512 分辨率为例 # 采样器参数 sampler_name = "dpmpp_2m" scheduler = "karras" steps = 20 cfg = 7.0 batch_size = 16 # 16 帧一次性生成 # Latent 生成参数（对应 KSampler 里的 latent_batch） # width = 96, height = 64 （8x 降采样后的 latent 尺寸） # 实际图像尺寸 = width * 8 = 768, height * 8 = 512

帧数选择要看你的用途。16 帧对应大约 0.64 秒的短视频（25fps），适合做动态表情、小幅度动作；32 帧约 1.3 秒，适合做完整动作循环。帧数翻倍不是简单的参数修改——显存占用是线性增长的，8G 显存跑 16 帧已经接近上限，32 帧建议 12G 以上显存。

步数和 CFG 的配合要理解：AnimateDiff 的多帧生成和单帧生成不同，步数太少会时空闪烁，太多则显存压力大而且收益递减。20 步是性价比比较高的选择，往上加到 30 步肉眼差别不大。CFG 在动画里的建议值比静态图略低，7.0 是平衡点，超过 9.0 动画里容易出现色彩过饱和和边缘伪影。

4. Openpose 和 Depth 的实战对比：什么时候只用一个，什么时候叠加

4.1 只用 Openpose：人物动作可控的常见场景实测

只挂 Openpose 的场景很明确：你有一张人物参考图，想让人物做出特定动作，但背景和场景可以自由生成。我拆一个实际跑通的配置：

这个配置下我跑过“人物从站立到坐下”的动作序列，骨骼锁定得很稳，衣物质感和背景则在每帧之间有合理的变化。需要注意的是 Openpose 控制图本身要清晰，如果你用视频提取姿态序列，建议单帧姿态检测质量过关之后再放进 ControlNet。

4.2 只用 Depth：镜头运动与场景结构稳定

Depth 单独用的场景，通常是画面里没有人物主体、或者人物动作不重要，但镜头需要有推拉或平移效果。Depth 控制图如果是固定的一张，那么生成的动画里场景结构保持不变，相当于镜头固定在原地，只有光影和细节在时域上变化。

如果把 Depth 控制图替换成连续变化的深度序列（比如从室内全景逐渐推到窗户特写），模型会配合深度引导生成镜头推进的效果。这个在 ComfyUI 里实现的方式是准备一个深度图序列文件夹，用 LoadImageSequence 节点加载：

# 准备深度图序列：按帧号命名 depth_frames/ 0001.png 0002.png 0003.png ... # 然后用 LoadImageSequence 节点载入 # 节点会按 sequence 顺序取帧，数量必须和 batch_size 一致

4.3 叠加使用的完整配置与效果预期

两个 ControlNet 叠加使用，是这个资源包的核心价值所在。我给的参考配置：

叠加时两个分支的strength总和不要超过 1.3，这个经验值我多次验证过。超过之后画面会出现“结构僵硬感”，人物动作像木偶，背景像纸板。0.75 + 0.55 的组合既保证了动作有 Openpose 托底，也保留了 Depth 对场景的稳定作用。

叠加后的预期效果：人物动作清晰可辨、场景透视稳定、画面细节在帧间有合理流动。但你要做好心理准备——叠加不等于完美，当 Openpose 和 Depth 的控制信息冲突时（比如姿态要求人物走动，但深度图暗示人物在墙前面），模型会优先服从信息量更大的那个分支，实际结果有时需要来回调 strength 比例才能找到平衡点。

5. 避坑指南：这套工作流最容易翻车的五个位置

5.1 显存不足导致生成中断或画面闪烁

现象：跑 16 帧以上时，采样过程跑到一半报 CUDA out of memory，或者生成的视频每隔几帧就出现画面闪烁。

原因：AnimateDiff 在 latent 空间一次性生成所有帧，显存占用远高于单图生成。8G 显存跑 16 帧 768x512 已经很勉强，如果同时加载两个 ControlNet，显存直接翻倍。

解决：把分辨率降到 640x384，或者把 batch_size 拆成两段，用LatentDuplicate分批生成再拼接。启动 ComfyUI 时加--medvram参数也可以缓解，但会牺牲一定速度。我自己的习惯是 16 帧用单 ControlNet，需要叠加时分辨率就不超过 640。

5.2 ControlNet 控制图尺寸和 latent 尺寸不匹配

现象：生成结果里人物姿态完全不受控制，或者深度结构扭曲得厉害。

原因：ControlNet 的控制图会经过预处理器调整尺寸，和生成分辨率的宽高比不一致时，控制条件会被强行拉伸变形，骨架位置全部错位。

解决：控制图在做 Openpose 提取时保持和生成分辨率一致的长宽比。我一般先用脚本统一控制图尺寸：

from PIL import Image # 统一控制图为 768x512（和生成分辨率一致） for img_file in ["pose_0001.png", "depth_0001.png"]: img = Image.open(img_file) img = img.resize((768, 512), Image.LANCZOS) img.save(f"resized_{img_file}")

5.3 运动模块版本和底模不匹配导致画面模糊

现象：生成动画时整体画面特别糊，像是蒙了一层雾，但静态图生成没问题。

原因：AnimateDiff 运动模块 v2 和 v3 对应的 beta schedule 不同，和某些底模搭配时噪声调度出问题，导致画面细节大量丢失。

解决：确认运动模块是 v3 版本，并检查 loader 里的 beta_schedule 是不是sqrt_linear。如果底模是某个私模型，先测试单帧生成确认底模本身没问题，再开 AnimateDiff 链路。

5.4 Openpose 姿态序列和动作语义矛盾

现象：提示词写的是“跑步”，Openpose 给的骨架序列却是“站立”，结果生成出来的人物像在做原地踏步，整体肢体扭曲。

原因：CLIP 文本语义和 ControlNet 视觉条件底层是两条信息通路，文本描述的是动作语义，骨架定义的是具体姿势。两者矛盾时模型会两头兼顾，结果就是肢体结构在位但动作僵硬。

解决：提示词里不要写具体的动作名称，而是写人物的外观和场景氛围。动作完全交给 Openpose 骨架序列决定。如果非要用文本描述动作，保证骨架序列和文本语义一致。

5.5 视频合成阶段帧率设置错误导致播放卡顿

现象：生成的 mp4 播放速度明显偏快或偏慢，动作看着不自然。

原因：ComfyUI 的 VideoCombine 节点默认帧率 8fps，但你设想的是 25fps 或者 30fps，播放出来速度就全错了。

解决：VideoCombine 节点里手动设置帧率为 25 或 30，注意帧数和帧率的关系——16 帧在 25fps 下是 0.64 秒，如果这个时长对动作表达不够，要么加帧数，要么降帧率到 12fps 让动作更慢更拖。

6. 进阶技巧：把动画质量再往上拉一档的做法

做到这里，基础工作流你已经能完整跑通了。接下来分享几个我常用的进阶处理手段，这些方法能把画面质量和对动作的掌控力往上拉一档。

第一个技巧是分两段式采样。先用较低的步数（10-12 步）快速生成一遍 latent 序列，检查运动是否符合预期，再用这个 latent 作为初始噪声，配合更高的步数和更低的 CFG 进行第二遍精修。在 ComfyUI 里用LatentFromBatch和KSampler串联就能实现。这个做法能省掉大量反复试错的时间——先看运动对不对，再抠画面质感。

第二个技巧是给 ControlNet 做强度渐变。固定的 strength 设置会让动画里每帧的控制力度一致，但实际动作开始和结束阶段的控制需求是不同的。你可以按帧给控制图配不同的 strength 权重：动作起势阶段强度低一些，让模型有余地；动作定型阶段强度拉满，确保姿态准确。这个需要写一段简单的预处理脚本，把 Openpose 骨架图按帧编号乘以不同系数。

第三个技巧是镜头运动让你的动画更有高级感。静态 Openpose 加固定深度图生成的动画，看起来像固定镜头拍摄，缺乏空间感。我一般会给深度图序列加一个缓慢的前景推进：从初始深度图开始，每帧把深度图的整体数值微调偏移，模拟镜头向前移动的效果。深度值整体减小时，模型会把场景往镜头方向拉近，画面就有了推镜头的动态效果。

第四个技巧是用批次调度代替单次长序列生成。生成长动画时不要一次性跑 64 帧，而是拆成 4 段 16 帧的分段生成，段与段之间用上一段的末尾帧作为下一段的起始帧。这个做法能大幅降低显存压力，也方便你在段间检查和修正方向性错误。拆段的代价是段与段之间会有轻微跳变，连接处用前面提到的方法做帧融合可以过渡。

这套资源包里我反复验证过的组合配置，最终固定在 Openpose strength 0.75、Depth strength 0.55、motion_scale 1.0、CFG 7.0、20 步采样这一套参数上。从那以后我每次跑新动画，都强制自己先按这套参数跑一版运动预览，确认运动的整体方向没有翻车，再放手去调画质细节。这个习惯帮我省下了大量在错误方向上精调的浪费，希望帮到你。

本文还有配套的精品资源，点击获取