主题
导数与梯度:从变化率到最速下降
一分钟理解
开车时看仪表盘,速度表显示的是「位置随时间的瞬时变化率」——这就是导数:一个量对另一个量的变化快慢。位置
比喻:把函数图像想成一条山路。在一点处,导数告诉你「在这里,往前迈一小步,高度大约会升多少或降多少」——它给出的是切线的斜率,一个局部的、单变量的变化率。
当问题不止一个变量(比如位置同时由
这个工具在建模里干什么
导数与梯度是「求最优」与「找变化关系」的基础工具,几乎每个建模场景都会用到:
- 线性回归:最小二乘的目标是让残差平方和最小。这个目标函数对斜率、截距求导,令导数为零得到闭式解;也可以沿负梯度一步步逼近,即梯度下降。线性回归、多项式回归与岭回归
- 非线性优化:约束或目标非线性时,闭式解往往不存在,梯度下降及其变体是主流求解思路。非线性规划与数值优化
- 灵敏度分析:导数直接回答「输入改变一点,输出大约改变多少」,这是参数扰动与稳健性判断的数学依据。模型的敏感性分析和稳健性分析
一句话:导数回答「变多少」,梯度回答「往哪个方向变最有效」,二者合起来就是「找到让目标更优的方向并迈步」。
核心概念
符号定义
| 符号 | 含义 | 量纲 |
|---|---|---|
| 单变量函数 | 视具体问题而定 | |
| 一阶导数,即变化率 | ||
| 自变量的一小段增量 | ||
| 函数在 | ||
| 对第 | ||
| 梯度向量 | 各分量量纲为 | |
| 步长(学习率) |
关键公式
一阶导数的极限定义:
分子
梯度是把各偏导数按顺序排成的向量:
梯度方向是函数值上升最快的方向,其模长给出该方向上的最大变化率。优化中最常用的是梯度下降迭代:
减去
手算小例子
第一步:用定义算导数。 取
所以
第二步:一步梯度下降。 求
,于是 ; ,于是 ; ,于是 。
序列
从一元到多元
实际模型几乎都有多个参数,此时需要偏导数与梯度。以
在点
把一元结论推广到多元,只需记住这张对应表:
| 数量 | 一元 | 多元 |
|---|---|---|
| 变化率 | ||
| 极值必要条件 | ||
| 下降迭代 |
常见误解与成立条件
- 「导数为零就是最小值」不对。
只是驻点的必要条件,可能是极大值、极小值,也可能都不是。例如 在 处 ,但该点既不是极大也不是极小(图像在原点左右从下穿过)。要区分需要二阶导数或邻域符号。 - 「梯度为零就是全局最小」也不对。 梯度为零只说明停在某个平稳点,可能是局部极小、鞍点或局部极大。多峰函数里,梯度下降会停在「最近的山谷」,不一定是最深的山谷。这正是需要模拟退火等随机算法「翻山越岭」的原因。模拟退火算法
- 「步长越大越快」会翻车。 对
,若取 ,则 ,从 0 出发会得到 ,永远震荡而不收敛。诊断信号是目标值不降反升或来回跳动。优化不收敛或收敛极慢怎么办? - 导数只描述局部。 用切线斜率外推很远可能严重失真,多项式外推尤其危险。成立条件是「
足够小」或函数在该区间近似线性。 - 梯度方向依赖坐标系。 说「梯度是最陡方向」默认使用欧氏距离度量;换了度量(例如加权距离)最陡方向会改变。入门阶段记住:在标准直角坐标下,负梯度是下降最快的方向。
与具体模型连接
- 线性回归的最小二乘目标
对参数求偏导,令梯度为零即得正规方程;梯度下降是同一目标在更大规模或不可解析时的替代求法。见 线性回归、多项式回归与岭回归。 - 非线性规划里,梯度下降族(含牛顿法、共轭梯度)是求解无约束问题的核心工具,见 非线性规划与数值优化。
- 模拟退火不依赖梯度,可在梯度信息不可靠或目标多峰时工作,与梯度方法互为补充,见 模拟退火算法。
关联文章
参考资料
- OpenStax《Calculus Volume 1》第 3 章(导数与变化率):https://openstax.org/books/calculus-volume-1/pages/3-introduction
- NumPy 梯度计算
numpy.gradient文档:https://numpy.org/doc/stable/reference/generated/numpy.gradient.html - SciPy 最优化
scipy.optimize.minimize文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html