news 2026/8/15 13:08:51

AI大模型与数学 第34课 多元复合偏导数:多变量链式求导(10道AI梯度核心计算题)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI大模型与数学 第34课 多元复合偏导数:多变量链式求导(10道AI梯度核心计算题)

课程前言
一元复合链式是单层网络梯度,多元复合链式法则是大模型反向传播的底层核心。

一元函数是一个因素对结果的影响,多元复合链式法则是多个因素相互作用对结果的影响。
我们为了寻求最佳结果,必须对影响结果因素的相互作用进行计算求导,找到最优路径。l

二元复合通用模型:z=f(u,v),\ u=\varphi(x,y),\ v=\psi(x,y)l
链式公式:
\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\cdot\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\cdot\frac{\partial v}{\partial x}
\frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\cdot\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\cdot\frac{\partial v}{\partial y}
AI对应逻辑:
z = 损失函数;u、v = 隐藏层输出;x、y = 网络权重参数
多层网络梯度回传,就是多层多元链式连加连乘,Transformer、CNN全部依靠该公式完成参数更新。

一、核心计算规则(通俗解读)

  1. 多路径求和:损失可通过多条中间变量影响权重,梯度全部相加;
  2. 逐层相乘:外层函数偏导 × 内层变量偏导,对应跨层梯度传递;
  3. 复合层数越多,链式计算步骤越多,深层大模型梯度链路更长。
    一件事情,多个影响结果的因素,我们如何分析因素达到最佳结果。

二、10道多元复合链式计算题(完整步骤+AI场景解读)
题1
z=u^2+v,\ u=2x,\ v=3y,求\dfrac{\partial z}{\partial x},\dfrac{\partial z}{\partial y}
解:
\dfrac{\partial z}{\partial u}=2u,\ \dfrac{\partial z}{\partial v}=1
\dfrac{\partial u}{\partial x}=2,\dfrac{\partial u}{\partial y}=0;\ \dfrac{\partial v}{\partial x}=0,\dfrac{\partial v}{\partial y}=3
\dfrac{\partial z}{\partial x}=2u\cdot 2=4u=8x
\dfrac{\partial z}{\partial y}=1\cdot 3=3
AI解读:两层简单网络,两条独立特征支路,权重梯度互不干扰,浅层全连接基础梯度计算。

题2
z=u+v^2,\ u=x+y,\ v=x-y,对x、y求偏导
解:
\dfrac{\partial z}{\partial u}=1,\dfrac{\partial z}{\partial v}=2v
\dfrac{\partial u}{\partial x}=1,\dfrac{\partial u}{\partial y}=1;\ \dfrac{\partial v}{\partial x}=1,\dfrac{\partial v}{\partial y}=-1
\dfrac{\partial z}{\partial x}=1\cdot1 + 2v\cdot1=1+2(x-y)
\dfrac{\partial z}{\partial y}=1\cdot1 + 2v\cdot(-1)=1-2(x-y)
AI解读:特征融合网络,x、y两个权重同时作用两条中间特征,梯度叠加求和。

题3
z=e{u+v}, u=x2,\ v=2xy,求\partial z/\partial x
解:
\dfrac{\partial z}{\partial u}=\dfrac{\partial z}{\partial v}=e^{u+v}
\dfrac{\partial u}{\partial x}=2x,\ \dfrac{\partial v}{\partial x}=2y
\dfrac{\partial z}{\partial x}=e^{u+v}\cdot2x + e{u+v}\cdot2y=2(x+y)e{x^2+2xy}
AI解读:指数激活融合双特征,注意力模块特征加权梯度计算模板。

题4
z=\sin(u),\ u=x^2+3y,求两个一阶偏导
解:
\dfrac{\partial z}{\partial u}=\cos u
\dfrac{\partial u}{\partial x}=2x,\ \dfrac{\partial u}{\partial y}=3
\dfrac{\partial z}{\partial x}=2x\cos(x^2+3y)
\dfrac{\partial z}{\partial y}=3\cos(x^2+3y)
AI解读:RoPE旋转位置编码复合函数,位置参数多层嵌套梯度求解。

题5
z=uv,\ u=3x-y,\ v=x+2y,求偏导数
解:
\dfrac{\partial z}{\partial u}=v,\dfrac{\partial z}{\partial v}=u
\dfrac{\partial u}{\partial x}=3,\dfrac{\partial u}{\partial y}=-1;\ \dfrac{\partial v}{\partial x}=1,\dfrac{\partial v}{\partial y}=2
\dfrac{\partial z}{\partial x}=3v+u=3(x+2y)+3x-y=6x+5y
\dfrac{\partial z}{\partial y}=-v+2u=-(x+2y)+2(3x-y)=5x-4y
AI解读:特征交叉相乘层,权重耦合梯度,大模型多头注意力交互项底层运算。

题6
z=u3, u=x-y2,求\partial z/\partial x、\partial z/\partial y
解:
\dfrac{\partial z}{\partial u}=3u^2
\dfrac{\partial u}{\partial x}=1,\ \dfrac{\partial u}{\partial y}=-2y
\dfrac{\partial z}{\partial x}=3(x-y2)2
\dfrac{\partial z}{\partial y}=-6y(x-y2)2
AI解读:高次损失嵌套线性特征,权重y的梯度带二次衰减,对应权重衰减正则效果。

题7
z=\ln(u+v),\ u=xy,\ v=x,求对x偏导
解:
\dfrac{\partial z}{\partial u}=\dfrac{\partial z}{\partial v}=\dfrac{1}{u+v}
\dfrac{\partial u}{\partial x}=y,\dfrac{\partial v}{\partial x}=1
\dfrac{\partial z}{\partial x}=\dfrac{y+1}{xy+x}
AI解读:交叉熵对数损失复合函数,分类任务反向传播核心梯度。

题8
三层嵌套复合:z=e^t,\ t=u+v,\ u=2x,\ v=xy,求\partial z/\partial x
解:
\dfrac{\partial z}{\partial t}=e^t,\ \dfrac{\partial t}{\partial u}=1,\dfrac{\partial t}{\partial v}=1
\dfrac{\partial u}{\partial x}=2,\dfrac{\partial v}{\partial x}=y
\dfrac{\partial z}{\partial x}=e^{2x+xy}(2+y)
AI解读:三层复合对应三层隐藏神经网络,梯度三层连乘,深层模型反向传播标准流程。

题9
z=u\cos v,\ u=x^2,\ v=3y,求两个偏导
解:
\dfrac{\partial z}{\partial u}=\cos v,\ \dfrac{\partial z}{\partial v}=-u\sin v
\dfrac{\partial u}{\partial x}=2x,\dfrac{\partial u}{\partial y}=0;\ \dfrac{\partial v}{\partial x}=0,\dfrac{\partial v}{\partial y}=3
\dfrac{\partial z}{\partial x}=2x\cos3y
\dfrac{\partial z}{\partial y}=-3x^2\sin3y
AI解读:时序特征加权+周期位置编码复合结构,大模型时序预测梯度模板。

题10 压轴综合多路径复合
z=u2+ev,\ u=x-y,\ v=xy,完整求\dfrac{\partial z}{\partial x},\dfrac{\partial z}{\partial y}
解:
\dfrac{\partial z}{\partial u}=2u,\ \dfrac{\partial z}{\partial v}=e^v
\dfrac{\partial u}{\partial x}=1,\dfrac{\partial u}{\partial y}=-1;\ \dfrac{\partial v}{\partial x}=y,\dfrac{\partial v}{\partial y}=x
\frac{\partial z}{\partial x}=2(x-y)\cdot 1 + e^{xy}\cdot y=2(x-y)+ye^{xy}
\frac{\partial z}{\partial y}=2(x-y)\cdot(-1)+e^{xy}\cdot x=-2(x-y)+xe^{xy}
AI解读:同时包含二次损失、指数激活、交叉特征项,完整复刻Transformer损失梯度计算逻辑,是工程最通用复合梯度模型。

三、课程核心总结(衔接35课二阶混合偏导)
4. 多元链式两大核心:多路径梯度相加、每层导数相乘;
5. 大模型反向传播本质:对海量权重求解多元复合偏导;
6. 路径越多、嵌套层数越深,梯度表达式越复杂,深层网络易出现梯度消失/爆炸;
7. 下一课程学习多元二阶、混合偏导,为海塞矩阵、多元极值判定打基础。

多元复合链式求导很容易漏算某一条梯度路径,你做题时怎么避免丢项?
深层大模型梯度消失和链式连乘有什么关系?欢迎评论区交流!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/15 13:08:33

Magpie:让旧软件和老游戏重获清晰的窗口超分辨率工具

Magpie:让旧软件和老游戏重获清晰的窗口超分辨率工具 【免费下载链接】Magpie A general-purpose window upscaler for Windows 10/11. 项目地址: https://gitcode.com/gh_mirrors/mag/Magpie 朋友那台 2015 年的笔记本,跑着一款 2D 老 RPG。游戏…

作者头像 李华
网站建设 2026/8/15 13:07:42

宝塔 Redis 安全配置和可用性完整检查步骤

宝塔 Redis 安全配置 可用性完整检查步骤 硬件 / 网络 / 系统 一一、阿里云 ECS 本机基础检查 1. ECS 控制台检查(阿里云网页后台) 实例状态:运行中,CPU / 内存 / 磁盘使用率是否长期飙高(负载高会导致若依接口超…

作者头像 李华
网站建设 2026/8/15 13:05:48

如何快速提取虚幻引擎游戏资源:UEViewer 实用入门指南

如何快速提取虚幻引擎游戏资源:UEViewer 实用入门指南 【免费下载链接】UEViewer Viewer and exporter for Unreal Engine 1-4 assets (UE Viewer). 项目地址: https://gitcode.com/gh_mirrors/ue/UEViewer 当你打开一款游戏的安装目录,看到满屏的…

作者头像 李华
网站建设 2026/8/15 13:03:34

从502错误到网络协议:TCP/IP与HTTP实战解析与故障排查指南

1. 从一次“502 Bad Gateway”说起:为什么我们绕不开网络协议那天下午,我正在调试一个微服务间的接口调用。本地环境一切正常,信心满满地部署到测试服务器后,前端页面却弹出了一个刺眼的错误提示:unexpected status 50…

作者头像 李华
网站建设 2026/8/15 12:58:14

Python Requests自动化脚本实现微信小程序抢号:从HTTP请求分析到实战部署

1. 从“抢号”需求到技术方案的思考路径最近在帮朋友处理一个挺有意思的需求:他需要定期去某个微信小程序上“抢”一个预约号,这个号源非常紧张,几乎每次都是秒光。手动操作不仅费时费力,成功率还极低。他问我有没有什么“黑科技”…

作者头像 李华
网站建设 2026/8/15 12:56:51

StreamArena与StreamMind:长视频理解智能体从原理到实战

最近在跟进多模态大模型和视频理解相关技术时,发现一个普遍痛点:现有的视频理解模型或评测基准,大多聚焦于几秒到几分钟的短视频片段。当面对长达数小时、包含复杂叙事和丰富细节的长视频(如电影、纪录片、长直播、监控录像&#…

作者头像 李华