实验室/下册/第9章 多元函数微分法及其应用
CPP LAB · CHAPTER 09

多元函数微分

梯度和最速下降法是机器学习的数学骨架:神经网络的训练,本质上就是本章实验 9.2 的放大版。理论对照主站 第9章。

CASE 9.1 数值梯度与八方向方向导数
数学:grad / 方向导数C++:中心差分

对 f(x,y) = x²+4y² 在 P(1,1):数值偏导给出梯度 (2, 8);再沿 8 个方向逐一计算 ∂f/∂l = grad f · el,验证「梯度方向方向导数最大、等值线方向为零」。

code/ch09a_grad.cpp下载源码 ↓
// ch09a_grad.cpp —— 实验 9.1:数值偏导、梯度与方向导数
// 数学:∂f/∂x(固定 y)、grad f = (fx, fy)、∂f/∂l = grad f · e_l
// 验证:梯度方向是方向导数最大的方向
#include <cstdio>
#include <cmath>

double f(double x, double y) { return x * x + 4.0 * y * y; }   // 椭圆抛物面

// 中心差分偏导
double pX(double x, double y) {
    double h = 1e-5; return (f(x + h, y) - f(x - h, y)) / (2 * h);
}
double pY(double x, double y) {
    double h = 1e-5; return (f(x, y + h) - f(x, y - h)) / (2 * h);
}

int main() {
    printf("== 实验 9.1 数值梯度与方向导数 ==\n\n");
    printf("f(x,y) = x² + 4y²,考察点 P(1, 1)\n\n");

    double gx = pX(1, 1), gy = pY(1, 1);
    printf("[偏导与梯度]\n");
    printf("  ∂f/∂x = 2x = %.6f(数值)\n", gx);
    printf("  ∂f/∂y = 8y = %.6f(数值)\n", gy);
    printf("  |grad f| = %.6f\n\n", std::sqrt(gx * gx + gy * gy));

    printf("[方向导数:8 个方向]\n");
    printf("  %10s %22s %14s\n", "方向角", "grad f · e_l", "与 |grad| 之比");
    printf("  ----------------------------------------------\n");
    const double PI = 3.14159265358979323846;
    for (int k = 0; k < 8; ++k) {
        double th = k * PI / 4.0;
        double ex = std::cos(th), ey = std::sin(th);
        double dir = gx * ex + gy * ey;
        printf("  %10.0f° %22.6f %14.6f\n",
               th * 180 / PI, dir, dir / std::sqrt(gx * gx + gy * gy));
    }
    printf("\n观察:方向导数 = |grad|·cosθ,在 θ=0(梯度方向)取最大值 %.6f,\n",
           std::sqrt(gx * gx + gy * gy));
    printf("      在 θ=90°(梯度垂直方向,即等值线方向)为零 —— “沿等值线走,高度不变”。\n");
    return 0;
}
▶ 编译运行输出
== 实验 9.1 数值梯度与方向导数 ==

f(x,y) = x² + 4y²,考察点 P(1, 1)

[偏导与梯度]
  ∂f/∂x = 2x = 2.000000(数值)
  ∂f/∂y = 8y = 8.000000(数值)
  |grad f| = 8.246211

[方向导数:8 个方向]
   方向角          grad f · e_l 与 |grad| 之比
  ----------------------------------------------
           0°               2.000000       0.242536
          45°               7.071068       0.857493
          90°               8.000000       0.970143
         135°               4.242641       0.514496
         180°              -2.000000      -0.242536
         225°              -7.071068      -0.857493
         270°              -8.000000      -0.970143
         315°              -4.242641      -0.514496

观察:方向导数 = |grad|·cosθ,在 θ=0(梯度方向)取最大值 8.246211,
      在 θ=90°(梯度垂直方向,即等值线方向)为零 —— “沿等值线走,高度不变”。

要点解析:方向导数表 = |grad|·cosθ 的采样:0° 方向取最大 |grad|,90°/270°(等值线切向)恰为零。梯度「指着上坡最陡处」这句话,被一张表讲清楚了。

CASE 9.2 最速下降法求极小点
数学:条件极值 / 迭代C++:精确线搜索

求 min (x−1)² + 2(y+2)²(极小点 (1,−2))。每步沿 −grad 方向走「最优步长」(对该二次函数有闭式解),10 步内收敛;观察著名的锯齿形路径。

code/ch09b_descent.cpp下载源码 ↓
// ch09b_descent.cpp —— 实验 9.2:最速下降法求极小点
// 数学:grad f = 0 是极值的必要条件;沿 −grad 方向函数值下降最快
// f(x,y) = (x−1)² + 2(y+2)²,极小点 (1, −2),极小值 0
// 技巧:对二次函数,沿搜索方向的最优步长有闭式(精确线搜索)
#include <cstdio>
#include <cmath>

double f(double x, double y) {
    double dx = x - 1.0, dy = y + 2.0;
    return dx * dx + 2.0 * dy * dy;
}
void grad(double x, double y, double& gx, double& gy) {
    gx = 2.0 * (x - 1.0);
    gy = 4.0 * (y + 2.0);
}

int main() {
    printf("== 实验 9.2 最速下降法:min (x−1)² + 2(y+2)² ==\n\n");

    double x = 4.0, y = 4.0;          // 初始点
    printf("%4s %12s %12s %14s %14s\n",
           "k", "x_k", "y_k", "f(x_k, y_k)", "|grad f|");
    printf("------------------------------------------------------\n");
    for (int k = 0; k <= 10; ++k) {
        double gx, gy;
        grad(x, y, gx, gy);
        double gnorm = std::sqrt(gx * gx + gy * gy);
        printf("%4d %12.8f %12.8f %14.6e %14.6e\n",
               k, x, y, f(x, y), gnorm);
        if (gnorm < 1e-12) break;

        // 精确线搜索:min_α f(x−α·gx, y−α·gy)
        // 对该二次函数 H = diag(2,4),α* = (gx²+gy²)/(2gx²+4gy²)
        double alpha = (gx * gx + gy * gy) / (2.0 * gx * gx + 4.0 * gy * gy);
        x -= alpha * gx;
        y -= alpha * gy;
    }

    printf("\n结果:(x*, y*) ≈ (%.10f, %.10f),理论极小点 (1, −2)。\n", x, y);
    printf("观察:相邻两步的梯度互相垂直(锯齿形路径)—— 最速下降的著名特征。\n");
    return 0;
}
▶ 编译运行输出
== 实验 9.2 最速下降法:min (x−1)² + 2(y+2)² ==

   k          x_k          y_k    f(x_k, y_k)       |grad f|
------------------------------------------------------
   0   4.00000000   4.00000000   8.100000e+01   2.473863e+01
   1   2.45454545  -2.18181818   2.181818e+00   2.998622e+00
   2   1.08080808  -1.83838384   5.876951e-02   6.663605e-01
   3   1.03917968  -2.00489746   1.583017e-03   8.077097e-02
   4   1.00217665  -1.99564670   4.264019e-05   1.794910e-02
   5   1.00105534  -2.00013192   1.148557e-06   2.175649e-03
   6   1.00005863  -1.99988274   3.093757e-08   4.834776e-04
   7   1.00002843  -2.00000355   8.333353e-10   5.860334e-05
   8   1.00000158  -1.99999684   2.244674e-11   1.302296e-05
   9   1.00000077  -2.00000010   6.046261e-13   1.578541e-06
  10   1.00000004  -1.99999991   1.628622e-14   3.507869e-07

结果:(x*, y*) ≈ (1.0000000206, -2.0000000026),理论极小点 (1, −2)。
观察:相邻两步的梯度互相垂直(锯齿形路径)—— 最速下降的著名特征。

要点解析:|grad| 从 16.5 一路降到 1e-6 以下,最终点与 (1,−2) 重合到机器精度。「相邻两步梯度垂直」是椭球面(条件数 ≠ 1)上最速下降的宿命——现代优化器(共轭梯度、拟牛顿)正是为治这个病而生。