AnimateDiff 多 Motion Module 组合：3 个配方 + 1 份避坑清单，把镜头从呆板推到丝滑

AnimateDiff 多 Motion Module 组合：3 个配方 + 1 份避坑清单，把镜头从呆板推到丝滑

【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff

同一句提示词，换一套 MotionLoRA 组合，画面能从"几乎不动"变成"丝滑推进"——这就是 AnimateDiff 多模块融合要解决的事。你大概率已经会跑单个基础模块，但一叠上 2~3 个镜头运动 LoRA，要么画面抖动，要么直接 OOM。这篇只讲三件事：权重到底怎么叠、一份最小可跑示例、以及几组拿来就能用的配方。

原理速览：几个 LoRA 其实是在同一层上做加法

基础 Motion Module 决定"会动"，MotionLoRA 决定"怎么动"（推、拉、摇、移）。关键点：多个 LoRA 不是运行时各占一条通道，而是在加载阶段被逐个相加进 U-Net 的时间注意力权重。看animatediff/utils/convert_lora_safetensor_to_diffusers.py里核心就一行：weight.data += alpha * mm(up, down)。于是最终权重是W = W_base + Σ αᵢ·ΔWᵢ，纯线性叠加。

下面这张图描述的就是这个叠加过程：基础模块先给出一版权重，每个 LoRA 再按各自alpha把自己的 delta 累加进去。

这个图想说明：合并是一次性的，加载完就不再额外吃显存/算力，所以叠 2 个 LoRA 的开销很小；代价是所有 delta 挤在同一层权重里，方向一冲突就会互相抵消或放大，这正是后面抖动的根源。

最小可跑示例：两个 LoRA 叠加，5 分钟出片

下面这份 YAML 同时加载 ZoomIn 与 PanRight 两个镜头 LoRA，配 v2 基础模块即可直接跑。

- inference_config: "configs/inference/inference-v2.yaml" motion_module: "models/Motion_Module/mm_sd_v15_v2.ckpt" motion_module_lora_configs: - path: "models/MotionLoRA/v2_lora_ZoomIn.ckpt" alpha: 0.6 - path: "models/MotionLoRA/v2_lora_PanRight.ckpt" alpha: 0.4 dreambooth_path: "models/DreamBooth_LoRA/realisticVisionV51_v51VAE.safetensors" seed: 45987230 steps: 25 guidance_scale: 7.5 prompt: - "photo of coastline, rocks, waves, 8k, film grain" n_prompt: - "blur, deformed, low quality, watermark"

把它存成configs/prompts/my_combo.yaml，再一行命令出片（默认 512×512、16 帧，底模默认models/StableDiffusion/stable-diffusion-v1-5）：

python -m scripts.animate --config configs/prompts/my_combo.yaml

场景配方：拿来改改就能用

🎬 三个配方都遵循"主 LoRA 大权重、副 LoRA 小权重"，总 α 控制在 0.8~1.0。

镜头推进＋右移：海岸线推镜

需求一句话：远景海岸要缓慢推近、同时向右横移。

YAML 片段（替换进你的 config 即可）：

motion_module_lora_configs: - path: "models/MotionLoRA/v2_lora_ZoomIn.ckpt" alpha: 0.6 - path: "models/MotionLoRA/v2_lora_PanRight.ckpt" alpha: 0.4

仓库里__assets__/animations/motion_lora/model_01/04.gif正是 Zoom＋Pan 组合的实测结果，可对照检查你的运镜手感。

仰拍＋缓转：人物特写

需求一句话：面部特写先仰起再轻微顺时针转，营造镜头跟随感。

YAML 片段（替换进你的 config 即可）：

motion_module_lora_configs: - path: "models/MotionLoRA/v2_lora_TiltUp.ckpt" alpha: 0.5 - path: "models/MotionLoRA/v2_lora_RollingClockwise.ckpt" alpha: 0.3

旋转类 LoRA 对人物手部/五官最容易拉出形变，所以主副差距拉大一点，guidance_scale也调到 8 更稳。

强风＋缓慢后拉：风暴海岸

需求一句话：风暴海岸要"晃"起来、同时镜头缓缓后退，制造压迫感。

YAML 片段（替换进你的 config 即可）：

motion_module_lora_configs: - path: "models/MotionLoRA/v2_lora_ZoomOut.ckpt" alpha: 0.5 - path: "models/MotionLoRA/v2_lora_RollingAnticlockwise.ckpt" alpha: 0.3

注意别把两个反向缩放（ZoomIn＋ZoomOut）放一起——它们在同一层相加会互相抵消，结果就是画面忽近忽远的抖动。

避坑＋下一步

🎯 下面五个坑都是"权重叠加"这一机制的衍生症状，按"症状 → 归因 → 修复"记最快。

运动抖动／闪烁→ 多个 LoRA 的 delta 线性相加进同一层，α 总和过大或方向相反时互相抵消/放大（代码里就是逐次+=）→ 主 LoRA α 提到 0.6、副的压到 0.3，让 Σα≈0.9，方向冲突的只留一个。

显存溢出 OOM→ 512×512×16 帧 + 常驻 LoRA 权重占显存 → 确认装了 xformers（默认启用，别加--without-xformers），并降低--L（帧数，如 8）或把--H/--W降到 384。

画面几乎不动→ α 太小，或还在用 v1 基础模块（弱于 v2）→ 主 LoRA α 提到 0.8~1.0，换mm_sd_v15_v2.ckpt配configs/inference/inference-v2.yaml。

加载报 Key 缺失／assert 失败→ LoRA 与基础模块版本不匹配（如 v3 LoRA 配 v2 模块）或路径没按models/MotionLoRA放（load_weights用 strict 校验，多余权重会直接报错）→ 核对两者同属 v2 系列、路径与 README 目录约定一致。

组合越多越糊→ 每加一个 LoRA 就把这层权重往训练分布外推一步 → 组合 2 个以内，主副分明，别贪多。

想再往上走，有两条路值得试：一是照着仓库train.py的流程训练你自己的 MotionLoRA，把通用"推镜"换成业务里的专属运镜；二是接 SparseCtrl，用关键帧图控制"第几帧触发哪种运动"，做分镜式精确控制。先把上面的两 LoRA 叠加跑通、把 Σα 摸到 0.9，这是收益最高的一步。

【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff