简介：这份资源面向希望掌握AI动画生成流程的创作者与学习者，围绕ComfyUI、AnimateDiff、ControlNet及Openpose+Depth的组合应用，解决从静态素材到连贯动画的自动化生成问题，适合具备一定节点式工作流基础的中级用户参考。压缩包共202个文件，以200张jpg逐帧图像为主体，另含1个mp4成片与1个json配置，整体约8.27MB，可直观对照帧序列与最终动画效果。目前已有779人学习下载。资源价值在于呈现了一条可复用的技术链路：ComfyUI负责场景与参数搭建，AnimateDiff补足帧间过渡，ControlNet约束运动与行为，Openpose+Depth提供人体关键点与深度信息，读者可据此理解各模块的分工与衔接方式，并借助逐帧图与配置还原生成过程，为自建动画工作流提供参照。
1. 动画生成工作流：从一张图到一段可控视频到底卡在哪
做动画生成的人大多有过这种体验：单张图跑得挺顺，一旦要出连续帧，人物就开始飘、手部开始糊、背景开始抖，最后只能靠抽帧和后期硬救。这套 ComfyUI + AnimateDiff + ControlNet（Openpose + Depth）的工作流压缩包，解决的正是这个卡点——它把「动作骨架约束」和「空间深度约束」同时挂到 AnimateDiff 的时序采样上，让生成出来的动画在姿态和景深两个维度都保持稳定。适合已经能跑通 ComfyUI 基础出图、想进一步做角色动画或分镜预演的人，也适合被「帧间不一致」折磨过的从业者。下面按我拆包复现的顺序讲，重点放在节点怎么连、参数怎么给、哪里最容易翻车。
2. 工作流拆解：AnimateDiff 时序模块与双 ControlNet 的挂载逻辑
2.1 为什么是 AnimateDiff 而不是逐帧图生图
逐帧图生图的问题在于每一帧都是独立采样，模型没有「上一帧长什么样」的记忆，所以哪怕种子固定，微小的潜空间扰动也会累积成肉眼可见的闪烁。AnimateDiff 的思路是在 UNet 的每个注意力层里插入一个时序运动模块（Motion Module），让相邻帧在潜空间里共享运动信息。压缩包里的工作流默认加载的是 mm_sd_v15 系列的运动模块，配合 SD1.5 底模使用。
这里有个选型上的硬约束：运动模块和底模的版本必须对得上。SD1.5 的运动模块不能直接挂到 SDXL 底模上，否则要么报维度不匹配，要么出图直接变成噪点。我一般会先确认底模是 1.5 系还是 SDXL 系，再决定加载哪个 mm 文件。工作流里如果底模节点是 CheckpointLoaderSimple 且模型名带 v1-5，那运动模块就用 v1-5 对应的版本，别混。
2.2 双 ControlNet 的串联顺序与权重分配
Openpose 管骨架，Depth 管前后景关系，两者在 AnimateDiff 里不是简单叠加，而是各自通过 ControlNetApplyAdvanced 节点注入。工作流里的连接顺序是：正向条件先过 Openpose 的 ControlNet，再过 Depth 的 ControlNet，最后进 KSampler。这个顺序不是随便定的——Openpose 提供的是强结构约束，先注入能让姿态先定下来；Depth 提供的是软空间约束，后注入用来修正遮挡和景深，避免骨架对了但人贴到背景上。
权重上，Openpose 一般给 0.8～1.0，Depth 给 0.4～0.6。Openpose 权重太低骨架会松，人物动作变形；太高则画面僵硬、衣服褶皱被骨架带偏。Depth 权重过高会让画面整体发灰、细节被压平，这是血泪经验，我第一次跑的时候 Depth 给了 0.9，出来的人像蒙了一层雾。
# 伪代码：双 ControlNet 条件注入的核心逻辑（对应工作流节点连接） positive = CLIPTextEncode(text=prompt, clip=clip) negative = CLIPTextEncode(text=neg_prompt, clip=clip) # 第一层：Openpose 强结构约束 positive, negative = ControlNetApplyAdvanced( positive=positive, negative=negative, control_net=openpose_model, image=openpose_frames, # 逐帧骨架图序列 strength=0.9, # 骨架权重，0.8~1.0 start_percent=0.0, end_percent=1.0 ) # 第二层：Depth 软空间约束 positive, negative = ControlNetApplyAdvanced( positive=positive, negative=negative, control_net=depth_model, image=depth_frames, # 逐帧深度图序列 strength=0.5, # 深度权重，0.4~0.6 start_percent=0.0, end_percent=0.8 # 后段放松，保留细节 )参数说明：start_percent和end_percent控制 ControlNet 在采样步的哪个区间生效。Depth 的end_percent设成 0.8 是个常用技巧——前 80% 的步数用深度稳住构图，后 20% 放开让模型补细节，否则整张图会显得「平」。Openpose 则建议全程生效，骨架一旦中途放松，动作就会在尾帧崩掉。
2.3 帧数与上下文长度的匹配
AnimateDiff 的上下文长度（context_length）默认 16，意味着一次采样看 16 帧。工作流里如果总帧数超过 16，会自动做滑动窗口。这里要注意：总帧数最好是 context_length 的整数倍附近，比如 16、32、48，否则尾帧容易出现「接不上」的跳变。我一般把总帧数设成 32，配合 batch_size 分两批跑，显存压力小，衔接也稳。
3. 从骨架到成片：Openpose 与 Depth 预处理的实际操作
3.1 参考视频抽帧与骨架提取
工作流本身不包含抽帧，需要先把参考视频拆成图片序列。常见做法是用 ffmpeg 按固定帧率抽，帧率决定动画的节奏——24fps 适合写实，12fps 适合手绘感。
# 从参考视频抽帧，统一分辨率并限制帧数 ffmpeg -i ref_video.mp4 -vf "fps=12,scale=512:512" -frames:v 32 frames/%04d.pngfps=12表示每秒抽 12 帧，scale=512:512把画面统一到 512 见方（SD1.5 的舒适区），-frames:v 32只取前 32 帧，和上文的帧数设定对齐。抽完检查一下 frames 目录，帧数不够 32 就说明原视频太短，需要补或者降帧率。
骨架提取用 Openpose 预处理器，工作流里对应的是 DWPreprocessor 或 OpenposePreprocessor 节点。输入是抽好的帧序列，输出是骨架图序列。这里有个坑：预处理器默认会检测全身，如果参考视频里人物只露上半身，检测器可能把手臂识别成躯干，骨架直接错位。解决办法是在预处理器里把detect_hand和detect_body按实际画面开，别全开。
3.2 深度图生成与尺度归一化
Depth 预处理用 DepthAnything 或 MiDaS 系预处理器，输出的是灰度深度图，越亮越近。工作流里 Depth 的输入必须和 Openpose 的帧序列一一对应，帧数、分辨率都要一致，否则 ControlNet 会报 shape 不匹配。
深度图有个容易被忽略的点：不同预处理器输出的深度范围不一样，有的归一化到 0～1，有的保留原始相对深度。如果直接喂给 ControlNet，深度对比度可能过强或过弱。我一般会在预处理后加一个 ImageScale 节点，把深度图统一缩到和生成分辨率一致，再用 ImageBlur 轻微模糊一下（半径 2～4），让深度过渡更柔和，避免生成时出现硬边。
# 深度图后处理：统一尺度 + 轻微模糊 depth = LoadImageSequence(pattern="depth/*.png") depth = ImageScale(depth, width=512, height=512, upscale_method="bilinear") depth = ImageBlur(depth, blur_radius=3) # 柔化深度硬边blur_radius=3是经验值，太大深度信息会糊成一团失去约束力，太小则硬边会被生成模型放大成色块。这个参数和 Depth 的 strength 是联动的：模糊重了就把 strength 往上提一点，反之亦然。
3.3 提示词与负面词的配合
动画工作流里提示词要写「动作 + 场景 + 风格」三层，别只写主体。比如「a person walking in a forest, cinematic lighting, smooth motion」比单写「a person」稳定得多，因为运动模块需要语义上的连续性线索。负面词重点压「flicker, blurry, deformed hands, extra limbs」，这几个是 AnimateDiff 的高频翻车点。
4. 采样参数与显存：让 32 帧跑得动、跑得稳
4.1 KSampler 关键参数
工作流里 KSampler 的配置直接决定成片质量。steps 建议 20～25，cfg 给 7～8，sampler 用 dpmpp_2m 或 euler_a，scheduler 用 karras。steps 太低运动模块来不及收敛，帧间会抖；太高则显存和时间都吃不消，收益递减明显。
denoise 必须给 1.0，因为这是文生视频式的全量采样，不是图生图的局部重绘。如果有人把 denoise 调到 0.7 想「保留原图」，结果会是帧间完全不一致——这是最常见的误用之一。
4.2 显存不够时的三个降级手段
32 帧 512 分辨率在 8G 显存上基本跑不动，常见做法有三条：降分辨率到 384、减 context_length 到 8 并增加窗口重叠、开 --lowvram 启动参数。三条里我优先降分辨率，因为 context_length 减小会让运动连贯性打折，lowvram 则拖慢速度。工作流里如果带了 VAE Decode 的 tiled 选项，也建议打开，解码阶段是显存峰值所在。
| 显存档位 | 分辨率 | context_length | 预期耗时（参考） |
|---|---|---|---|
| 8G | 384×384 | 8 | 较慢，需分批 |
| 12G | 512×512 | 16 | 中等 |
| 16G+ | 512×512 | 16～24 | 较顺畅 |
耗时受显卡型号和驱动影响很大，表里只给相对档位，别当绝对基准。
4.3 批次与帧序列的对应关系
batch_size 设 1 最稳，设大于 1 时要注意帧序列的切分逻辑。工作流里如果用了 ImageBatch 节点拼接帧，batch 维度和帧维度容易混，表现为「生成的动画只有第一帧在动」。排查方法是看输出节点的帧数是否等于输入帧数，不等就是 batch 拼错了。
5. 避坑排查：五个让动画翻车的真实原因
5.1 现象：人物每帧都在「换脸」
原因：运动模块没加载成功，或者加载了但没接到 UNet 上。AnimateDiff 的 Loader 节点如果没连到 Model 输入，工作流照样能跑，但退化成逐帧独立生成。 解决：检查 AnimateDiffLoader 的输出是否接进了 KSampler 的 model 口，再看控制台有没有 motion module 的加载日志。没有日志就是路径或文件名不对。
5.2 现象：骨架对了但人物贴背景，没有前后景
原因：Depth 的 ControlNet 没生效，或者深度图全白/全黑。预处理器的输出如果没做归一化，整张图接近单一灰度，ControlNet 等于没约束。 解决：打开深度图看一眼直方图，正常应该有明显的明暗分布。全灰就换预处理器或手动拉伸对比度。
5.3 现象：尾帧突然跳变、动作接不上
原因：总帧数不是 context_length 的整数倍，滑动窗口在尾部做了不完整采样。 解决：把总帧数调成 16 或 32 的倍数，或者在工作流里加首尾帧重叠（overlap）参数，让窗口之间平滑过渡。
5.4 现象：手部糊成一团、多指
原因：Openpose 的 hand 检测没开，或者参考视频里手部太小、分辨率不够。 解决：预处理时开 hand 检测，同时把参考帧分辨率提到 768 再缩回 512，给检测器更多像素。生成阶段可以在负面词里加「bad hands」，但治标不治本。
5.5 现象：显存溢出（OOM）在 VAE Decode 阶段
原因：解码是显存峰值，32 帧一次性解码很容易爆。 解决：开 tiled VAE decode，或者把解码拆成两批。工作流里如果有 VAEDecodeTiled 节点，优先用它，tile_size 给 256 或 512。
6. 进阶调优：用分段 ControlNet 权重换更自然的运动
跑通基础流程后，真正拉开成片差距的是 ControlNet 权重的分段控制。我的习惯是把整个采样过程切成三段：前 30% 步数 Openpose 满权重（1.0）定骨架，中段 30%～70% 把 Depth 提到 0.6 稳住空间，后 30% 两者都降到 0.5 以下让模型自由补细节。这样出来的动画既有结构又不僵硬，比全程固定权重自然不少。
实现上不用改工作流结构，用两个 ControlNetApplyAdvanced 的 start/end 错开就行：
# 分段权重：Openpose 前段强、后段弱；Depth 中段强 positive, negative = ControlNetApplyAdvanced( positive, negative, openpose_model, openpose_frames, strength=1.0, start_percent=0.0, end_percent=0.6 ) positive, negative = ControlNetApplyAdvanced( positive, negative, depth_model, depth_frames, strength=0.6, start_percent=0.3, end_percent=0.7 )验证方法很直接：同一组种子和提示词，分别用固定权重和分段权重各跑一次，把两段视频并排看第 8、16、24 帧的差异。分段版如果在中段出现明显的细节提升而骨架没散，就说明参数对了。反过来，如果中段人物开始扭曲，说明 Depth 的 end_percent 给晚了，往前挪 0.1 再试。
还有一个容易被忽略的验证点：把生成的帧序列导回 Openpose 预处理器，看提取出的骨架和输入骨架的重合度。重合度高说明动作被忠实还原，重合度低但画面好看，说明模型在「自由发挥」，这时候要判断是创意还是失控。我一般会保留这个反向检查步骤，尤其是交付前。
从那以后我每次跑动画工作流，都会先用 8 帧小样验证骨架和深度是否对齐，再上 32 帧全量，省得跑半小时才发现 ControlNet 根本没接上。希望帮到你。
本文还有配套的精品资源，点击获取
