Skip to content

导数与梯度:从变化率到最速下降 ​

一分钟理解 ​

开车时看仪表盘,速度表显示的是「位置随时间的瞬时变化率」——这就是导数:一个量对另一个量的变化快慢。位置 s(t) 对时间 t 的导数就是速度,速度再对时间求导就是加速度。

比喻:把函数图像想成一条山路。在一点处,导数告诉你「在这里,往前迈一小步,高度大约会升多少或降多少」——它给出的是切线的斜率,一个局部的、单变量的变化率。

当问题不止一个变量(比如位置同时由 x 和 y 两个坐标决定),单靠一个斜率不够,需要把每个方向的变化率凑成一个向量,这就是梯度。梯度指向「山坡最陡的上坡方向」,而负梯度就是「最陡的下坡方向」。优化算法沿负梯度一步一步往下走,正是「最速下降」这个名字的由来。

这个工具在建模里干什么 ​

导数与梯度是「求最优」与「找变化关系」的基础工具,几乎每个建模场景都会用到:

  • 线性回归:最小二乘的目标是让残差平方和最小。这个目标函数对斜率、截距求导,令导数为零得到闭式解;也可以沿负梯度一步步逼近,即梯度下降。线性回归、多项式回归与岭回归
  • 非线性优化:约束或目标非线性时,闭式解往往不存在,梯度下降及其变体是主流求解思路。非线性规划与数值优化
  • 灵敏度分析:导数直接回答「输入改变一点,输出大约改变多少」,这是参数扰动与稳健性判断的数学依据。模型的敏感性分析和稳健性分析

一句话:导数回答「变多少」,梯度回答「往哪个方向变最有效」,二者合起来就是「找到让目标更优的方向并迈步」。

核心概念 ​

符号定义 ​

符号含义量纲
f(x)单变量函数视具体问题而定
f′(x)=dfdx一阶导数,即变化率[f] 除以 [x]
Δx自变量的一小段增量[x]
f(x0)函数在 x0 处的值[f]
∂f∂xi对第 i 个变量的偏导数[f] 除以 [xi]
∇f(x)梯度向量各分量量纲为 [f]/[xi]
η步长(学习率)[x]2/[f](使 η∇f 回到 [x])

关键公式 ​

一阶导数的极限定义:

f′(x0)=limh→0f(x0+h)−f(x0)h.

分子 f(x0+h)−f(x0) 是函数值的变化量,分母 h 是自变量的变化量,二者相除就是「平均变化率」;取极限 h→0 得到瞬时变化率。量纲上,若 f 是路程(米)、x 是时间(秒),则 f′ 是速度(米/秒)。

梯度是把各偏导数按顺序排成的向量:

∇f(x)=(∂f∂x1,∂f∂x2,…,∂f∂xn).

梯度方向是函数值上升最快的方向,其模长给出该方向上的最大变化率。优化中最常用的是梯度下降迭代:

xk+1=xk−η∇f(xk).

减去 η 倍的梯度,就是朝「最陡下降方向」迈一小步。η 太大可能越过最低点甚至发散,太小则收敛很慢。

手算小例子 ​

第一步:用定义算导数。 取 f(x)=x2,在 x0=3 处:

f′(3)=limh→0(3+h)2−9h=limh→09+6h+h2−9h=limh→0(6+h)=6.

所以 x2 在 x=3 处的切线斜率为 6,切线方程是 y=f(3)+6(x−3)=9+6x−18=6x−9。核对:当 x=3.1,切线给出 6⋅3.1−9=9.6,真实值 3.12=9.61,误差 0.01,符合「局部近似」的直觉。

第二步:一步梯度下降。 求 f(x)=(x−3)2 的最小值,其导数为 f′(x)=2(x−3)。从 x0=0 出发,取步长 η=0.1:

  • f′(0)=2(0−3)=−6,于是 x1=0−0.1⋅(−6)=0.6;
  • f′(0.6)=2(0.6−3)=−4.8,于是 x2=0.6−0.1⋅(−4.8)=1.08;
  • f′(1.08)=−3.84,于是 x3=1.08+0.384=1.464。

序列 0→0.6→1.08→1.464→… 一步步靠近最小值点 x=3。这个迭代其实有闭式解:xk+1=0.8xk+0.6,因此 xk=3−3⋅(0.8)k,代入 k=1,2,3 分别得 0.6,1.08,1.464,与手算一致。

从一元到多元 ​

实际模型几乎都有多个参数,此时需要偏导数与梯度。以 f(x,y)=x2+y2 为例,对 x 的偏导数是 ∂f∂x=2x(把 y 当常数),对 y 的偏导数是 ∂f∂y=2y(把 x 当常数),梯度就是

∇f(x,y)=(2x, 2y).

在点 (1,1) 处,∇f=(2,2),指向离原点(最小值点)最远、上升最快的方向;负梯度 (−2,−2) 则指向原点,是下降最快的方向。沿负梯度迈一步(η=0.2):(1,1)−0.2⋅(2,2)=(0.6,0.6),函数值从 12+12=2 降到 0.62+0.62=0.72,确实变小了。

把一元结论推广到多元,只需记住这张对应表:

数量一元多元
变化率f′(x),一个数∇f,一个向量
极值必要条件f′(x)=0∇f=0
下降迭代xk+1=xk−ηf′(xk)xk+1=xk−η∇f(xk)

常见误解与成立条件 ​

  • 「导数为零就是最小值」不对。 f′(x)=0 只是驻点的必要条件,可能是极大值、极小值,也可能都不是。例如 f(x)=x3 在 x=0 处 f′(0)=0,但该点既不是极大也不是极小(图像在原点左右从下穿过)。要区分需要二阶导数或邻域符号。
  • 「梯度为零就是全局最小」也不对。 梯度为零只说明停在某个平稳点,可能是局部极小、鞍点或局部极大。多峰函数里,梯度下降会停在「最近的山谷」,不一定是最深的山谷。这正是需要模拟退火等随机算法「翻山越岭」的原因。模拟退火算法
  • 「步长越大越快」会翻车。 对 f(x)=(x−3)2,若取 η=1,则 xk+1=xk−2(xk−3)=6−xk,从 0 出发会得到 0→6→0→6,永远震荡而不收敛。诊断信号是目标值不降反升或来回跳动。优化不收敛或收敛极慢怎么办?
  • 导数只描述局部。 用切线斜率外推很远可能严重失真,多项式外推尤其危险。成立条件是「h 足够小」或函数在该区间近似线性。
  • 梯度方向依赖坐标系。 说「梯度是最陡方向」默认使用欧氏距离度量;换了度量(例如加权距离)最陡方向会改变。入门阶段记住:在标准直角坐标下,负梯度是下降最快的方向。

与具体模型连接 ​

  • 线性回归的最小二乘目标 SSE(β)=∑i(yi−y^i)2 对参数求偏导,令梯度为零即得正规方程;梯度下降是同一目标在更大规模或不可解析时的替代求法。见 线性回归、多项式回归与岭回归。
  • 非线性规划里,梯度下降族(含牛顿法、共轭梯度)是求解无约束问题的核心工具,见 非线性规划与数值优化。
  • 模拟退火不依赖梯度,可在梯度信息不可靠或目标多峰时工作,与梯度方法互为补充,见 模拟退火算法。

关联文章 ​

参考资料 ​

MathModel FAQ · 数学建模知识库