news 2026/7/7 2:57:57

随机微分方程(SDE)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
随机微分方程(SDE)

图片来源自上面这个论文

论文的图片中展示的是一个随机微分方程(SDE)的两种形式,常用于扩散模型(Diffusion Models)随机过程建模,特别是在生成模型(如DDPM、Score-based models)中。下面将逐步解析这两条方程的含义、关系及物理/数学背景,并说明它们为何常被并列写出。


🧩 一、先明确符号含义(便于后续理解)

  • x:状态变量(通常是高维向量,如图像像素向量)

  • t:时间变量(常为扩散过程的时间步)

  • f(t):漂移项系数函数(决定确定性演化)

  • g(t):扩散项系数函数(决定噪声强度)

  • dw:标准布朗运动(Wiener过程)的微分,代表随机扰动

  • ∇ₓ log pₜ(x):在时刻 t,数据分布 pₜ(x) 的对数概率梯度(即“score function”)

  • pₜ(x):在扩散过程时间 t 时,数据 x 的概率密度


🧭 二、逐条解析两条方程


✅ 第一条方程(正向扩散过程 / 扩散SDE):

dx = f(t)x dt + g(t) dw

这是正向扩散过程(Forward Diffusion Process)的标准形式。

  • 它描述的是:一个数据点 x 从初始分布 p₀(x)(真实数据)开始,被逐渐加入噪声,最终变成近似高斯分布的过程。

  • f(t)x​ 是线性漂移项(常见于线性噪声调度,如 VPSDE、VESPDE)。

  • g(t)dw​ 是添加的高斯噪声项,随时间变化。

  • 该过程通常设计为让 xₜ 在 t→T 时接近标准高斯分布 N(0, I)。

📌用途:用于训练阶段,让模型学习“如何加噪”。


✅ 第二条方程(反向扩散过程 / 逆向SDE):

dx = [f(t)x − g²(t)∇ₓ log pₜ(x)] dt + g(t) dw

这是逆向扩散过程(Reverse-time SDE),由正向SDE通过时间反转推导而来(依据 Anderson, 1982 或 《Score-Based Generative Modeling through Stochastic Differential Equations》, Song et al., ICLR 2021)。

  • 与正向SDE相比,仅多了一个“修正项”:−g²(t)∇ₓ log pₜ(x)

  • 这个项就是“score function”(对数梯度),它指引系统“逆着噪声方向”恢复数据。

  • 该方程允许我们从纯噪声 xₜ ~ N(0, I) 出发,通过逐步去噪,生成真实数据样本。

  • 注意:dw 在逆向过程中有时会取负号(取决于时间方向),但在很多表述中仍保留原符号,因为实际采样时通过数值方法处理。

📌用途:用于采样/生成阶段,让模型“从噪声中重建数据”。


🔗 三、两条方程的关系(关键!)

这两条方程本质上是一个正向扩散SDE​ 和其对应的逆向SDE

  • 正向:x₀ → xₜ,加噪过程(确定+随机)

  • 逆向:xₜ → x₀,去噪过程(依赖于 score ∇ₓ log pₜ(x))

逆向SDE的推导依赖于Fokker-Planck 方程​ 或Girsanov 定理,核心结论是:

若正向过程为 dx = f(t)x dt + g(t) dw,

则逆向过程(在时间倒流下)为:

dx = [f(t)x − g²(t)∇ₓ log pₜ(x)] dt − g(t) dw

(注:部分文献保留 dw 符号,实际采样时通过改变积分方向或调整噪声项处理)

你提供的第二式中写的是 +g(t)dw,这可能是为了采样方便或记法统一,实际含义仍是“逆向过程依赖于 score”。


🧠 四、应用场景(为什么重要?)

这两条方程是:

  • 扩散模型(Diffusion Models)​ 的数学基础

  • Score-based generative models​ 的核心动力学

  • DDPM(Denoising Diffusion Probabilistic Models)​ 的连续时间版本

  • Stable Diffusion / Midjourney 等图像生成模型​ 的底层理论支撑

模型训练目标就是:估计 ∇ₓ log pₜ(x)​ —— 也就是训练一个神经网络预测“噪声方向”或“得分”。


📌 五、总结一句话(核心要点)

图片展示的是扩散过程的正向SDE逆向SDE,其中逆向过程依赖于数据分布的对数梯度(score),这是现代生成模型如Diffusion Model实现“从噪声生成数据”的数学基础。


🧪 附加:若这是考题/作业题,常见问法及答案

Q:两条方程分别代表什么?有何关系?

A

  • 第一个方程描述的是正向扩散过程,即数据逐渐被噪声破坏的过程,形式为线性漂移 + 噪声扰动。

  • 第二个方程是逆向扩散过程,它通过引入 score function ∇ₓ log pₜ(x) 来“逆向”恢复数据,用于从噪声生成样本。

  • 二者通过时间反转理论关联,逆向过程依赖于对数密度梯度(score),是生成模型的关键。

Q:∇ₓ log pₜ(x) 在生成中有何作用?

A

这是“得分函数”(score function),指示在当前状态 x 下,概率密度增长最快的方向。模型通过学习该梯度,可以在采样时引导噪声样本逐步向高密度区域(即真实数据)移动。


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 2:51:00

告别重复点击!AutoClicker:Windows鼠标自动化终极解决方案

告别重复点击!AutoClicker:Windows鼠标自动化终极解决方案 【免费下载链接】AutoClicker AutoClicker is a useful simple tool for automating mouse clicks. 项目地址: https://gitcode.com/gh_mirrors/au/AutoClicker 在数字化办公时代&#x…

作者头像 李华
网站建设 2026/7/7 2:49:58

专业的电销机器人系统哪家好

引言在当今竞争激烈的商业环境中,企业如何高效地进行电话销售成为了一个关键问题。随着人工智能技术的发展,电销机器人逐渐成为众多企业的首选工具。然而,面对市场上众多的电销机器人系统,选择一个专业且可靠的供应商显得尤为重要…

作者头像 李华
网站建设 2026/7/7 2:48:37

题解:AcWing 1277 维护序列

【题目来源】 AcWing:1277. 维护序列 - AcWing题库 【题目描述】 老师交给小可可一个维护数列的任务,现在小可可希望你来帮他完成。 有长为 NNN 的数列,不妨设为 a1,a2,…,aNa_1,a_2,…,a_Na1​,a2​,…,aN​。 有如下三种操作形式&…

作者头像 李华
网站建设 2026/7/7 2:48:25

AI驱动的证券智能分析平台:架构设计与工程实践

🚀 30款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度 在金融投资领域,AI技术正在重塑传统的股票分析方法。过去依赖人工收集数据、手动计算指标、凭经验判断趋势的模式&#xf…

作者头像 李华