图片来源自上面这个论文
论文的图片中展示的是一个随机微分方程(SDE)的两种形式,常用于扩散模型(Diffusion Models)或随机过程建模,特别是在生成模型(如DDPM、Score-based models)中。下面将逐步解析这两条方程的含义、关系及物理/数学背景,并说明它们为何常被并列写出。
🧩 一、先明确符号含义(便于后续理解)
x:状态变量(通常是高维向量,如图像像素向量)
t:时间变量(常为扩散过程的时间步)
f(t):漂移项系数函数(决定确定性演化)
g(t):扩散项系数函数(决定噪声强度)
dw:标准布朗运动(Wiener过程)的微分,代表随机扰动
∇ₓ log pₜ(x):在时刻 t,数据分布 pₜ(x) 的对数概率梯度(即“score function”)
pₜ(x):在扩散过程时间 t 时,数据 x 的概率密度
🧭 二、逐条解析两条方程
✅ 第一条方程(正向扩散过程 / 扩散SDE):
dx = f(t)x dt + g(t) dw
这是正向扩散过程(Forward Diffusion Process)的标准形式。
它描述的是:一个数据点 x 从初始分布 p₀(x)(真实数据)开始,被逐渐加入噪声,最终变成近似高斯分布的过程。
f(t)x 是线性漂移项(常见于线性噪声调度,如 VPSDE、VESPDE)。
g(t)dw 是添加的高斯噪声项,随时间变化。
该过程通常设计为让 xₜ 在 t→T 时接近标准高斯分布 N(0, I)。
📌用途:用于训练阶段,让模型学习“如何加噪”。
✅ 第二条方程(反向扩散过程 / 逆向SDE):
dx = [f(t)x − g²(t)∇ₓ log pₜ(x)] dt + g(t) dw
这是逆向扩散过程(Reverse-time SDE),由正向SDE通过时间反转推导而来(依据 Anderson, 1982 或 《Score-Based Generative Modeling through Stochastic Differential Equations》, Song et al., ICLR 2021)。
与正向SDE相比,仅多了一个“修正项”:−g²(t)∇ₓ log pₜ(x)
这个项就是“score function”(对数梯度),它指引系统“逆着噪声方向”恢复数据。
该方程允许我们从纯噪声 xₜ ~ N(0, I) 出发,通过逐步去噪,生成真实数据样本。
注意:dw 在逆向过程中有时会取负号(取决于时间方向),但在很多表述中仍保留原符号,因为实际采样时通过数值方法处理。
📌用途:用于采样/生成阶段,让模型“从噪声中重建数据”。
🔗 三、两条方程的关系(关键!)
这两条方程本质上是一个正向扩散SDE 和其对应的逆向SDE:
正向:x₀ → xₜ,加噪过程(确定+随机)
逆向:xₜ → x₀,去噪过程(依赖于 score ∇ₓ log pₜ(x))
逆向SDE的推导依赖于Fokker-Planck 方程 或Girsanov 定理,核心结论是:
若正向过程为 dx = f(t)x dt + g(t) dw,
则逆向过程(在时间倒流下)为:
dx = [f(t)x − g²(t)∇ₓ log pₜ(x)] dt − g(t) dw
(注:部分文献保留 dw 符号,实际采样时通过改变积分方向或调整噪声项处理)
你提供的第二式中写的是 +g(t)dw,这可能是为了采样方便或记法统一,实际含义仍是“逆向过程依赖于 score”。
🧠 四、应用场景(为什么重要?)
这两条方程是:
扩散模型(Diffusion Models) 的数学基础
Score-based generative models 的核心动力学
DDPM(Denoising Diffusion Probabilistic Models) 的连续时间版本
Stable Diffusion / Midjourney 等图像生成模型 的底层理论支撑
模型训练目标就是:估计 ∇ₓ log pₜ(x) —— 也就是训练一个神经网络预测“噪声方向”或“得分”。
📌 五、总结一句话(核心要点)
图片展示的是扩散过程的正向SDE与逆向SDE,其中逆向过程依赖于数据分布的对数梯度(score),这是现代生成模型如Diffusion Model实现“从噪声生成数据”的数学基础。
🧪 附加:若这是考题/作业题,常见问法及答案
Q:两条方程分别代表什么?有何关系?
A:
第一个方程描述的是正向扩散过程,即数据逐渐被噪声破坏的过程,形式为线性漂移 + 噪声扰动。
第二个方程是逆向扩散过程,它通过引入 score function ∇ₓ log pₜ(x) 来“逆向”恢复数据,用于从噪声生成样本。
二者通过时间反转理论关联,逆向过程依赖于对数密度梯度(score),是生成模型的关键。
Q:∇ₓ log pₜ(x) 在生成中有何作用?
A:
这是“得分函数”(score function),指示在当前状态 x 下,概率密度增长最快的方向。模型通过学习该梯度,可以在采样时引导噪声样本逐步向高密度区域(即真实数据)移动。