PyTorch 自动微分实战：用 3 个案例验证多元函数微分定理（附 Hessian 矩阵计算）

PyTorch 自动微分实战用 3 个案例验证多元函数微分定理附 Hessian 矩阵计算在深度学习的实践中自动微分Automatic Differentiation是模型训练的核心技术之一。PyTorch 作为当前主流的深度学习框架其动态计算图和自动微分机制为数学原理的验证提供了绝佳工具。本文将抛开纯数学推导通过三个可运行的代码案例带您直观理解多元函数微分中的关键定理。1. 案例一复合函数求导与链式法则验证复合函数求导的链式法则是反向传播算法的理论基础。让我们用 PyTorch 实现一个具体案例import torch # 定义中间变量和输出函数 u lambda x, y: x**2 y**3 v lambda x, y: torch.sin(x) * torch.cos(y) f lambda u, v: u * v # 设置需要求导的点 x torch.tensor(1.0, requires_gradTrue) y torch.tensor(2.0, requires_gradTrue) # 前向计算 u_val u(x, y) v_val v(x, y) z f(u_val, v_val) # 反向传播 z.backward() print(f∂z/∂x {x.grad.item():.4f}) print(f∂z/∂y {y.grad.item():.4f})为了验证结果的正确性我们可以手动计算理论值∂u/∂x 2x∂v/∂x cos(x)cos(y)∂f/∂u v∂f/∂v u根据链式法则 ∂z/∂x (∂f/∂u)(∂u/∂x) (∂f/∂v)(∂v/∂x)运行代码后比较程序输出与手动计算结果两者应该完全一致。这种验证方式比纯数学推导更直观特别适合验证复杂函数的求导过程。提示在 PyTorch 中所有涉及需要求导的变量都必须设置 requires_gradTrue否则不会计算梯度。2. 案例二梯度方向的最大性验证梯度方向是函数在该点处变化率最大的方向这个性质在优化算法中至关重要。我们可以通过以下实验验证import torch import math def func(x, y): return torch.exp(-(x**2 y**2)/2) # 计算某点的梯度 point torch.tensor([1.0, 1.0], requires_gradTrue) output func(point[0], point[1]) output.backward() gradient point.grad.detach().clone() # 随机生成100个方向向量 directions torch.randn(100, 2) directions directions / torch.norm(directions, dim1, keepdimTrue) # 计算各方向的方向导数 directional_derivatives torch.matmul(directions, gradient) # 计算梯度方向的方向导数 grad_direction gradient / torch.norm(gradient) grad_derivative torch.matmul(grad_direction, gradient) print(f最大方向导数为: {grad_derivative.item():.4f}) print(f随机方向导数最大值: {torch.max(directional_derivatives).item():.4f})实验结果将显示梯度方向的方向导数确实大于任何其他随机方向。这个性质解释了为什么梯度下降法选择梯度方向作为参数更新方向。关键观察点梯度方向确实给出了函数在该点的最大增长率增长率的大小等于梯度向量的模长与梯度方向夹角越小方向导数越大3. 案例三Hessian 矩阵与极值判定Hessian 矩阵在判断函数极值性质中起着决定性作用。PyTorch 虽然不直接提供 Hessian 矩阵计算但我们可以通过多次自动微分来实现import torch def compute_hessian(f, x): # 计算梯度 grad torch.autograd.grad(f, x, create_graphTrue)[0] # 初始化 Hessian 矩阵 hessian torch.zeros((len(x), len(x))) # 对每个分量求二阶导 for i in range(len(x)): grad2 torch.autograd.grad(grad[i], x, retain_graphTrue)[0] hessian[i] grad2 return hessian # 定义测试函数 def test_func(x): return x[0]**3 x[1]**3 - 3*x[0]*x[1] # 在临界点 (1,1) 处计算 Hessian x torch.tensor([1.0, 1.0], requires_gradTrue) f test_func(x) hessian compute_hessian(f, x) print(Hessian 矩阵:) print(hessian) # 计算特征值判断极值性质 eigenvalues torch.linalg.eigvals(hessian) print(特征值:, eigenvalues)根据输出结果的特征值我们可以判断该临界点的性质所有特征值为正局部极小点所有特征值为负局部极大点有正有负鞍点含零特征值无法判断需要更高阶信息4. 工程实践中的微分技巧在实际应用中自动微分还有一些值得注意的技巧和陷阱常见问题与解决方案问题现象可能原因解决方案梯度为 None张量未设置 requires_grad确保输入张量 requires_gradTrue梯度爆炸学习率太大或网络太深使用梯度裁剪调整学习率梯度消失激活函数选择不当使用 ReLU 等改良激活函数内存溢出计算图未释放合理使用 detach() 和 with torch.no_grad()性能优化技巧在推理阶段使用torch.no_grad()装饰器避免构建计算图对于不需要梯度的中间变量及时调用detach()合理使用retain_graph参数控制计算图的生命周期批量操作时尽量使用矩阵运算而非循环# 高效计算多个点的梯度示例 def batch_gradient(f, points): # points: (N, 2) 张量 points.requires_grad_(True) outputs f(points[:,0], points[:,1]) grad_outputs torch.ones_like(outputs) gradients torch.autograd.grad(outputs, points, grad_outputsgrad_outputs, create_graphFalse)[0] return gradients points torch.rand(10, 2) # 10个随机点 gradients batch_gradient(func, points)通过这三个案例我们不仅验证了多元函数微分的关键定理还掌握了 PyTorch 自动微分的实用技巧。这种理论与实践相结合的方式远比单纯学习数学推导更能加深理解。