如何优雅地从四个方面加深对深度学习的理解

ICML上深度学习理论成为焦点。普林斯顿教授Sanjeev Arora将其研究分为四类非凸优化、超参数与泛化、深度意义及生成模型。本文聚焦非凸优化。非凸优化的两个核心问题损失函数长什么样高维空间中全局最小值往往不是孤立点而是连通的平坦路径。研究表明任意两个全局最小值都可通过平坦路径连接。这意味着超参数化使鞍点远多于局部极小值——数十亿方向中非全局最小点几乎总能找到下降方向。SGD为何收敛SGD并非简单近似它从两个角度被重新理解修改损失函数SGD等价于在平滑后的损失函数上做梯度下降能脱离局部极小值收敛至全局最小附近。随机微分方程视角将SGD视为点云分布的演化其方差与 learning_rate/batch_size 成正比。该分布受曳力真实梯度和随机力内在噪声驱动最终收敛至稳定分布。其中熵项与温度学习率/批大小比相关——高温对应平坦极小值泛化能力更佳。结论学习率/批大小比而非单一超参数更关键。虽然非凸优化是基础但深度学习的强大更多来自泛化能力这将是下篇的主题。