如果你跟我一样早年在学校把求导公式背得滚瓜烂熟但真到了机器学习项目里却总觉得哪里对不上——那我这篇就是写给你的。求导在机器学习里不是一道期末考试题而是几乎所有学习算法的核心引擎模型训练时的每一次参数更新都依赖“对损失函数求梯度”这个动作。哪怕是如今封装得极其友好的深度学习框架底层也离不开这条数学链路。这篇内容适合三类人学过微积分但没想明白它和机器学习关系的人正在看吴恩达、李宏毅课程但被公式劝退的人以及已经在写模型代码却对梯度具体怎么算、算得对不对心里没底的人。我尽量用大白话把求导这件事讲透也会附上可以直接跑的代码和推导过程帮你把“数学公式”和“代码实现”之间那条裂缝补上。1. 求导在机器学习里到底站在什么位置1.1 机器学习训练的本质找一组好参数先退一步看整个机器学习的流程。你给模型喂一批数据比如图片、文本、表格模型会输出一个预测结果。预测结果和真实答案之间一定有差距这个差距用一个函数来衡量就是损失函数。训练模型本质上就是不断调整模型的参数让损失函数的值越来越小。这里的“参数调整”不是瞎调。你需要知道参数往哪个方向动损失会降得更快这个方向就是损失函数对参数的一阶导数梯度的负方向。所以你可以把求导理解为“给模型指路的人”——它告诉优化器该往哪里走、走多快。这也是为什么几乎所有主流机器学习算法不管是线性回归、逻辑回归、支持向量机还是深度神经网络训练过程都指向同一个数学动作对损失函数关于参数求梯度然后更新参数。你不理解这个动作就只能靠框架封装的 optimizer.step() 活得像一个纯调参侠。1.2 求导和反向传播不是一回事很多初学者容易把“求导”和“反向传播”混淆。我在这里把两者的分工说清楚求导是数学反向传播是算法是求导在多层网络中的高效实现方式。具体来说对于一层网络求梯度可以直接用链式法则硬算但当网络有几十层甚至上百层如果每一层都独立求导计算量会爆炸。反向传播做的就是从输出层开始逐层往输入层方向“搬运”梯度每一层负责计算自己参数的偏导并把梯度继续往前传。它的数学地基就是链式法则。所以你先掌握好求导再去看反向传播的代码会发现那些 forward 和 backward 里的逻辑不过是链式法则的工程化表达。1.3 识别猫这个例子背后的导数逻辑拿热门关键词里反复出现的“机器学习 认识猫 标签”来说。你想让模型分辨一张图里有没有猫输入是一堆像素值输出是一个“有猫的概率”。这个从像素到概率的映射函数由数百万个参数决定。训练时模型每看完一批图片就计算预测结果和真实标签有猫/没猫之间的损失然后通过链式法则逐层求出每个参数对损失的贡献也就是梯度。你会看到在代码里实现“认识猫”的模型核心训练代码几乎长得一模一样算损失、backward()、optimizer.step()。而那个 backward() 背后就是求导技术。记住这句话模型结构可以千变万化但参数更新的数学原理始终如一。2. 解析求导与数值求导两种完全不同的“求导”方式2.1 先说解析求导手推公式的严谨派解析求导就是像数学课上学的那样用求导法则幂函数法则、乘积法则、链式法则推出导数的闭合表达式。比如 $f(x) x^2$你直接写出 $f(x) 2x$。这种方式的优点是精确、计算快。你只需要代入 $x$ 就能得到导数不需要额外的函数调用。但缺点也很明显一旦函数复杂手推极其容易出错而且有些函数的导数表达式根本推不出来。在机器学习里解析求导是设计者的工作——你推导出梯度的公式然后把它写进代码。不过请注意在真实的大型神经网络里几乎没有“手推闭合式”这种事。框架用的是自动微分它既不是解析求导也不是数值求导而是把链式法则拆成一张计算图逐节点求局部导数再相乘。这个区别后面专门讲。2.2 再说数值求导简单粗暴的逼近派数值求导不需要推导任何公式。它直接回到导数的定义$$f(x) \approx \frac{f(xh) - f(x-h)}{2h}$$这个式子叫中心差分对比教科书上的单侧差分 $\frac{f(xh)-f(x)}{h}$它的误差小得多。核心思想很简单给自变量一个小扰动 $h$看函数值变化了多少变化率就是导数。用 Python 写一下import numpy as np def f(x): return x ** 2 def numerical_gradient(f, x, h1e-6): # 中心差分法 return (f(x h) - f(x - h)) / (2 * h) x 2.0 analytic 2 * x # 解析求导结果4 numeric numerical_gradient(f, x) print(f解析导数{analytic}) print(f数值导数{numeric})运行结果里数值导数是 4.000000000274和解析结果 4 只差千万分之一级别。误差来源是浮点表示精度和 h 的选择——h 太大截断误差大h 太小浮点舍入误差大。实测下来 1e-6 是个比较稳的区间。2.3 两种方式的对比和各自的用武之地我把两者的特点做了个对比对比项解析求导数值求导精确度精确近似有数值误差计算速度快直接代入慢要多次前向计算实现难度需要推导公式只需要写 f(x)出错风险公式推错很难察觉不会推错但速度劣势明显在机器学习中用途作为最终训练用的梯度验证解析梯度是否正确的“裁判”在机器学习实践里数值求导几乎不会用在正式训练中——因为每算一次梯度都要额外跑一遍前向传播模型大了根本扛不住。但它有一个不可替代的用途梯度检查。当你手推了一个复杂的解析梯度公式心里没底时用数值求导算一遍对比就能立刻发现公式是否写错。这个技巧我后面会详细展开。3. 链式法则反向传播的数学地基3.1 一个烤盘比喻复合函数的传递逻辑链式法则看起来只是微积分里的一条求导规则但它在机器学习里拥有举足轻重的地位。要理解它可以打个比方假设你先往面团里加了糖内层函数又把面团烤成了饼干外层函数。饼干的甜度会受到“糖的用量”影响也会受到“烘烤对甜度的浓缩程度”影响。要算“糖的用量对饼干最终甜度的总影响”得把两段影响乘起来——这就是链式法则的直觉。用数学表达如果 $z f(y)$而 $y g(x)$那么复合函数 $z f(g(x))$ 的导数是$$\frac{dz}{dx} \frac{dz}{dy} \cdot \frac{dy}{dx}$$注意“乘”这个动作。因为变化是逐层传导的输入 $x$ 变了一点先让中间变量 $y$ 变一点$y$ 再让输出 $z$ 变一点。每层的“影响力”是相乘的关系而不是相加。3.2 一个具体例子从手算到代码来看一个稍微复杂点的函数$f(x) \sin(3x^2)$。手工求导步骤可以拆成这样令 $u 3x^2$则 $f \sin(u)$先算外层导数$\frac{df}{du} \cos(u) \cos(3x^2)$再算内层导数$\frac{du}{dx} 6x$相乘得到$f(x) \cos(3x^2) \cdot 6x$代码里表达这个过程其实也差不多。如果你用 PyTorch 这样自动微分的框架import torch x torch.tensor(0.5, requires_gradTrue) u 3 * x ** 2 f torch.sin(u) f.backward() print(f自动微分求导结果{x.grad.item()}) # 按链式法则手算验证 manual torch.cos(3 * x ** 2) * (6 * x) print(f链式法则手算结果{manual.item()})两个结果对得上你就能直观看到链式法则在框架内部是怎么执行的。3.3 从两层到多层反向传播是怎么“倒着走”的神经网络是上百个这种嵌套的复合函数串在一起。假设一个简单网络输入 $x$ - 线性层 $h Wx b$ - 激活函数 $a \sigma(h)$ - 线性层 $y V a c$ - 损失 $L$。要计算损失 $L$ 关于 $W$ 和 $b$ 的梯度用链式法则看$$\frac{\partial L}{\partial W} \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial a} \cdot \frac{\partial a}{\partial h} \cdot \frac{\partial h}{\partial W}$$这里每一项都是局部导数。反向传播算法的聪明之处在于它不重复计算公共子表达式。先算出输出端的 $\frac{\partial L}{\partial y}$然后利用链式法则一层层往回流每经过一层就“乘以”该层的局部导数这样每个中间变量的梯度只算一次。这种缓存机制让反向传播的效率远高于“对每个参数单独求偏导”。这也解释了为什么现代深度学习框架号称“自动求导”——它做的其实不是“自动发明导数公式”而是把链式法则的计算过程自动化了。你只要定义好前向计算图backward() 会沿着图反向走一遍。提示如果你在看源码时看到requires_gradTrue它的意思就是“请框架记住我是计算图里的一个叶子节点将来对我来说要有梯度路径”。4. 梯度检查被低估的自检手段和我的实战经验4.1 为什么我强烈建议做梯度检查我见过不少初学者自己也经历过手推梯度公式后自信满满地写进代码结果模型训练完全不收敛损失像心电图一样乱跳。排查半天才怀疑到梯度写错了。求导公式一旦写错优化器再怎么调学习率也没用。梯度检查是最直接的自检及纠错工具用数值求导算出的梯度作为“标准答案”和你自己对每个参数的解析梯度做对比。如果两者很接近说明解析梯度大概率正确如果差距巨大那就是推导或者实现出错了。4.2 梯度检查的标准步骤在实践中可以照以下的步骤来操作随机初始化一个很小的模型参数数量控制在几个以内方便检查所有参数。对每一个参数 $w_i$执行如下流程def check_gradient(model, loss_fn, x, y, param_idx, eps1e-6): model.forward() 返回 (loss, grads) param_idx 指定检查第几个参数 # 备份原始参数 original model.params[param_idx].copy() # 用中心差分计算数值梯度 model.params[param_idx] original eps loss_plus loss_fn(model, x, y) model.params[param_idx] original - eps loss_minus loss_fn(model, x, y) numeric_grad (loss_plus - loss_minus) / (2 * eps) # 恢复参数并获取解析梯度 model.params[param_idx] original _, analytic_grads model.forward(x, y) analytic_grad analytic_grads[param_idx] # 返回数值梯度和解析梯度 return numeric_grad, analytic_grad计算相对误差来比较两个梯度def relative_error(numeric, analytic): denominator np.linalg.norm(numeric) np.linalg.norm(analytic) if denominator 0: return 0 return np.linalg.norm(numeric - analytic) / denominator4.3 误差多少算“通过”根据我的实测经验不同的误差范围代表不同的可靠程度相对误差区间含义建议 1e-7几乎完全正确放心训练1e-7 ~ 1e-4有微小差异检查浮点误差来源1e-4 ~ 1e-2很可能有实现 bug仔细核对代码 1e-2梯度写错了重新推导公式请留意如果你的损失函数里用了 tanh、softmax 这类非线性函数误差会比线性模型稍大但仍应在 1e-5 以下。如果误差恰好和 1e-6 这个 $h$ 量级接近通常只是浮点数精度造成的不是逻辑错误。4.4 一次真实踩坑softmax 回归的矩阵转置分享一个我亲身踩过的坑。手写 softmax 回归时我推出的损失函数对权重矩阵 $W$ 的梯度公式是$$\frac{\partial L}{\partial W} X^T (P - Y)$$其中 $P$ 是预测概率矩阵$Y$ 是 one-hot 标签矩阵。我写代码时漏掉了 $X^T$直接算成了 $P - Y$。训练结果自然是损失降不下来。后来我做梯度检查发现数值梯度和解析梯度差了将近 0.5果断去查代码结构和维度。检查后我补回 $X^T$重新做梯度检查误差降到了 1e-8 级别。这次经历让我养成了一个习惯任何新的手写梯度实现先跑一遍梯度检查再谈训练效果。4.5 梯度检查的实操建议不要在每次迭代都做梯度检查。数值梯度一次要跑两遍前向传播放训练循环里太慢了。通常在模型刚写完、正式训练前做一次就够。检查参数的子集也是可以的。对于大规模模型随机抽几个参数检查即可。要在模型训练初期做检查。如果模型已经训练到一定程度某些梯度可能非常接近零误差定义容易被细微数值干扰。梯度检查对 float64 比 float32 更友好。用 float32 时误差可能虚高建议临时切到 float64 检查确认无误再换回 float32 训练。5. 偏导、方向导数与梯度多元求导的工程视角5.1 偏导的含义其他变量都“冻结”机器学习里的参数通常是成百上千个损失函数不可能只依赖一个变量。所以单变量求导远远不够你需要偏导数。偏导数的意思很直接在某个点只让其中一个变量动其他变量全部当成常数看函数值对这个变量的变化率。比如 $L(w_1, w_2) (w_1 - 3)^2 2(w_2 1)^2$对 $w_1$ 求偏导时把 $w_2$ 固定住得到 $\frac{\partial L}{\partial w_1} 2(w_1 - 3)$。可以想象你在一个山坡上东西方向和南北方向的坡度很可能不一样。偏导就是分别测量这两个方向的坡度。而“其他变量固定”这个操作相当于测东西方向时不许自己往南北方向迈步。5.2 方向导数往任意方向走一步的坡度有了偏导你可能想知道如果我不沿着坐标轴方向而是沿着某个斜方向走一小步函数变化率是多少这正是方向导数回答的问题。设方向向量为 $u$单位向量则方向导数是$$D_u f \nabla f \cdot u$$也就是说函数沿某个方向的变化率等于梯度向量和该方向向量的点积。这个公式特别有用因为它把“任意方向的变化率”全部转化成了“已知梯度和方向的点积”。5.3 梯度变化最陡的方向从上面的方向导数公式能推出一个重要的结论当 $u$ 和梯度 $\nabla f$ 方向一致时点积最大函数增长最快反之负梯度方向就是下降最快的方向。更精确地说梯度 $\nabla f$ 是一个向量它的每个分量是函数对每个参数的偏导它的方向指向函数值增长最快的方向它的模长等于最大增长率。这就是为什么梯度下降要用负梯度方向来更新参数——你朝函数下降最快的方向走损失降得最快。以 $f(x, y) x^2 2y^2$ 为例在点 $(1, 1)$ 处$$\nabla f (2x, 4y) (2, 4)$$若学习率 $\eta 0.1$则梯度下降的更新公式为$$(x_{new}, y_{new}) (1, 1) - 0.1 \cdot (2, 4) (0.8, 0.6)$$算一下新点的函数值$0.8^2 2 \times 0.6^2 0.64 0.72 1.36$比原来的 $1^2 2 \times 1^2 3$ 小了不少。重复迭代函数值会逼近最小值 0。这就是求导驱动优化落地运转的直观过程。5.4 机器学习的损失面高维空间里的“山坡”机器学习里的损失函数通常不只是二维而是几千维甚至几百万维。但几何直觉不变损失函数张成的高维曲面上每个参数对应一个坐标轴梯度是指向“上升最快”方向的向量负梯度就是“下降最快”的方向。每次迭代里你做的事情就是算出当前点的梯度沿负梯度方向迈出一步步长由学习率决定然后到新位置再来一次。道理就这么简单真正的技巧在于怎么让每一步迈得又稳又好——这是学习率调度、动量、Adam 这些优化器在解决的问题但它们的起点都是“有了梯度才知道往哪走”。6. 雅可比矩阵与向量化求导在代码里看懂求导6.1 从标量到向量导数变成了矩阵单变量函数的导数是一个数多变量标量函数的导数是一个向量梯度。但如果一个函数的输入是向量、输出也是向量那导数就不再是单个数也不是单个向量而是一个矩阵——雅可比矩阵。假设函数 $f: \mathbb{R}^n \rightarrow \mathbb{R}^m$输入 $x \in \mathbb{R}^n$输出 $y \in \mathbb{R}^m$雅可比矩阵 $J$ 的形状是 $m \times n$其中每个元素是$$J_{ij} \frac{\partial y_i}{\partial x_j}$$也就是说第 $i$ 行表示第 $i$ 个输出对每个输入的偏导第 $j$ 列表示每个输出对第 $j$ 个输入的偏导。6.2 为什么要关心雅可比矩阵雅可比矩阵是整个反向传播过程的核心结构。一个神经网络层本质上是从输入向量到输出向量的向量函数反向传播时要计算并传递的“局部导数”就是这个层对应的雅可比矩阵与上游梯度的乘积。现代自动微分框架之所以能高效训练大模型就是因为它把整个过程都做了向量化矩阵乘法。这也是一个特别实用的知识点当你手写一个层比如自定义激活函数时只要算出了它的雅可比矩阵就能接入反向传播流程。很多分布式训练、混合精度训练的问题排查到最后也往往和某个雅可比矩阵的形状不匹配有关。6.3 一个完整的向量化求导例子我们来看一个机器学习里最常见的结构线性层加平方误差损失。设单个样本输入 $x \in \mathbb{R}^3$权重 $W \in \mathbb{R}^{2 \times 3}$偏置 $b \in \mathbb{R}^2$线性输出为$$y Wx b$$损失函数为 $L |y - t|^2$$t$ 是目标值。展开写就是$$L (y_1 - t_1)^2 (y_2 - t_2)^2$$这一步很关键先写成标量形式再逐元素求偏导最后重组成矩阵形式。对于 $W_{ij}$只有 $y_i \sum_k W_{ik} x_k b_i$ 受它影响所以$$\frac{\partial L}{\partial W_{ij}} 2(y_i - t_i) \cdot \frac{\partial y_i}{\partial W_{ij}} 2(y_i - t_i) x_j$$写成矩阵形式就是 $2 (y - t) x^T$。注意这里 $x^T$ 的位置不能放错——它是为了把 $2 \times 1$ 的误差向量和 $1 \times 3$ 的输入行向量相乘得到 $2 \times 3$ 的权重梯度形状。类似地$$\frac{\partial L}{\partial b_i} 2(y_i - t_i)$$所以 $\frac{\partial L}{\partial b} 2(y - t)$。6.4 批量样本的向量化形态真实项目里你不会每次只喂一个样本而是喂一个 batch。假设一次有 $N$ 个样本输入矩阵 $X \in \mathbb{R}^{3 \times N}$线性层输出 $Y WX b$通过广播机制误差矩阵 $E Y - T \in \mathbb{R}^{2 \times N}$。如果损失是平均平方误差 $L \frac{1}{N} \sum_{i,n} E_{i,n}^2$那么推理过程和上面类似只是多了一个对样本维度求和并取平均。最后的梯度是$$\frac{\partial L}{\partial W} \frac{2}{N} E X^T$$$$\frac{\partial L}{\partial b} \frac{2}{N} E \cdot \mathbf{1}$$这里 $\mathbf{1}$ 是全 1 向量作用是把每个输出维度的误差在所有样本上求和平均。检查维度可以验证$E$ 是 $2 \times N$$X^T$ 是 $N \times 3$乘积是 $2 \times 3$和 $W$ 形状一致。这个维度检查法特别实用当你推导矩阵梯度时最终结果的形状一定要和原参数完全一致否则公式基本是错的。6.5 用 PyTorch 验证上面推导与自动微分的一致性写一段小代码验证一下向量化求导的梯度公式import torch torch.manual_seed(0) N 4 X torch.randn(3, N, dtypetorch.float64) W torch.randn(2, 3, dtypetorch.float64, requires_gradTrue) b torch.randn(2, dtypetorch.float64, requires_gradTrue) T torch.randn(2, N, dtypetorch.float64) # 前向线性层 平均平方误差 Y W X b.unsqueeze(1) # 广播 b 到每一列 E Y - T loss (E ** 2).mean() loss.backward() # 手动推导的解析梯度 manual_W (2.0 / N) * E.detach() X.detach().T manual_b (2.0 / N) * E.detach().sum(dim1) print(自动微分 dL/dW 和手工推导误差, (W.grad - manual_W).abs().max().item()) print(自动微分 dL/db 和手工推导误差, (b.grad - manual_b).abs().max().item())在我的机器上运行两个误差都在 1e-18 量级这说明我一直强调的推导思路是对的先标量逐元素求导再重组成矩阵表达式。6.6 处理高维张量时的注意事项虽然我只演示了二维矩阵的求导但在真实深度学习项目里特征图往往是四维张量批次、通道、高度、宽度这时求导会更复杂。核心应对方法依然是关注维度和链式法则。一个我常用的技巧如果一个操作的向量化梯度推不出来就退回标量形式对单个元素求偏导总结规律后恢复成张量操作。推完后画一张维度对照表确认每个中间结果的形状能对上。另外现代框架都支持torch.autograd.gradcheck它可以对任意自定义函数自动做数值梯度检查这比我手写检查函数方便得多。在我做过的几个手写反向传播练习里最容易出错的地方根本不是求导算法本身而是维度匹配。用 einsum 或者显式转置时多花一分钟检查形状往往能省下一个下午的 debug 时间。掌握了这套“标量推导 - 矩阵整理 - 维度验证”的流程你再去读任何模型的源码都会觉得清晰很多。