一、论文基本信息论文题目Importance Estimation for Neural Network Pruning作者Pavlo Molchanov、Arun Mallya、Stephen Tyree、Iuri Frosio、Jan Kautz发表信息CVPR 2019论文链接CVF Open Access / arXiv官方代码NVlabs/Taylor_pruning这篇论文发表于CVPR 2019由 NVIDIA 研究团队提出。论文的核心目标是估计神经元或 filter 对最终 loss 的贡献然后迭代删除贡献最小的结构单元。CVF 页面显示该论文收录于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 11264–11272。官方代码仓库为NVlabs/Taylor_pruning。仓库 README 明确说明该代码用于复现论文Importance Estimation for Neural Network Pruning的结果代码基于 PyTorch并提供了 ResNet-50 / ResNet-101 等 ImageNet 剪枝配置。二、论文要解决的问题在这篇论文之前很多结构化剪枝方法使用比较简单的启发式指标例如L1 / L2 weight magnitude: 权重范数越小越不重要。 BN scale: BatchNorm gamma 越小通道越不重要。 Activation magnitude: 激活越小通道越不重要。这些方法有一个共同假设权重越小贡献越小 激活越小贡献越小 BN gamma 越小通道越不重要。但是这篇论文质疑了这个假设。作者指出权重大小和真实重要性之间可能存在明显差距真正应该关心的是删掉某个 filter 后网络 loss 会增加多少。论文在引言中明确指出很多方法依赖 weight magnitude 与 importance 强相关的假设但作者观察到 weight-based pruning decision 与经验最优 one-step decision 之间存在明显相关性差距。所以这篇论文要解决的问题是不是问 这个 filter 的权重大不大 而是问 如果删掉这个 filter loss 会变化多少如果删掉某个 filter 后 loss 几乎不变说明它不重要可以优先剪掉。如果删掉某个 filter 后 loss 明显上升说明它重要应该保留。三、核心思想这篇论文的核心思想可以概括为一句话用 Taylor 展开近似估计删除某个神经元 / filter 引起的 loss 变化并把这个 loss 变化作为重要性分数。最理想的 filter 重要性定义是真实重要性 删除该 filter 前后的 loss 差异但是如果网络里有很多 filters逐个删除、逐个前向评估会非常昂贵。假设网络中有 (M) 个可剪单元如果要精确计算每个单元的重要性就需要构造 (M) 个删减版本并分别计算 loss。这显然不适合大模型。所以论文使用 Taylor expansion 近似真实删除影响 E(W) - E(W | w_m 0) Taylor 近似 用梯度和参数值估计这个变化这就把一个高成本的 brute-force evaluation 问题变成了一个几乎可以从反向传播中直接得到的 gradient-based scoring 问题。论文摘要中也明确说作者提出了一阶和二阶 Taylor expansion 两种方式来近似 filter contribution。四、方法细节4.1 剪枝重要性的理想定义给定网络参数训练目标是最小化误差剪枝可以理解为在训练目标中加入约束但是优化是非凸、NP-hard 的需要组合搜索因此不可直接求解。论文在方法部分明确指出minimization 没有高效优化方式因为它非凸、NP-hard并且需要 combinatorial search。于是论文采用 greedy pruning 思路每次删除一小批当前最不重要的神经元 。对某个参数 (w_m)真实重要性定义为删除它前后的 loss 差异平方这个定义非常直观删掉它loss 变化大 重要性高。 删掉它loss 变化小 重要性低。但问题是直接计算每个需要评估很多个删减网络计算代价太高。4.2 一阶 Taylor 重要性论文用 Taylor 展开近似删除参数造成的 loss 变化。对单个参数一阶近似可以写成其中也就是说参数重要性 ≈ 参数值 × loss 对该参数的梯度再平方后作为正的重要性分数。直观理解w_m 很大但梯度很小 删掉它对 loss 不一定敏感。 w_m 很小但梯度很大 它可能仍然很重要。 w_m × g_m 大 说明 loss 对删除该参数比较敏感。论文指出一阶形式很容易计算因为梯度 (g) 在反向传播中已经可用。4.3 二阶 Taylor 重要性论文也给出了二阶 Taylor 近似其中HHessian 矩阵Hessian 的第 (m) 行一阶梯度。二阶项理论上更精确因为它考虑了 loss 曲率。但是它的问题也很明显需要 Hessian 或 Hessian 近似 显存和计算成本更高 大规模 ImageNet 网络上难以使用。论文在实现细节中说明完整 Hessian 计算非常昂贵因此使用 diagonal approximation在 ImageNet 实验中由于内存限制不能计算 Hessian所以大规模实验主要使用一阶 Taylor criterion。4.4 从单个参数到整个 filter结构化剪枝不是删除单个 weight而是删除一个 filter / neuron。一个 filter 包含一组参数论文给出两种结构单元重要性估计方式。第一种是group contribution第二种是individual importance sum二者区别是group contribution: 先把所有 g_s w_s 加起来再平方。 更强调整个 filter 作为一个整体的贡献。 individual importance sum: 每个参数先算重要性再求和。 更像参数级贡献累加。论文后续主要使用 gate 形式来简化 filter / neuron 级别的重要性计算。4.5 Gate让 filter 重要性更容易计算论文引入了一个很重要的技巧在每个 neuron / feature map 后面加一个 gate。设 gate 为它的初始值固定为 1不参与普通优化。如果某个 gate 置为 0就等价于关闭对应 neuron / feature map。加入 gate 后重要性可以写成这个形式非常方便。因为 gate 本身恒为 1所以不需要再显式乘参数值对 gate 的梯度已经隐式包含了前一层 filter 权重和 bias 对 loss 的贡献。论文指出gate 可以简化重要性分数计算因为 gate 不参与优化、值恒定并且可以隐式合并 filter weights 和 bias 的贡献。直观理解给每个 filter 输出加一个开关 gate。 如果 loss 对这个 gate 的梯度很小 说明关掉这个 gate 影响小 对应 filter 可以剪掉。 如果 loss 对这个 gate 的梯度很大 说明关掉它会明显影响 loss 对应 filter 应该保留。4.6 Taylor-FO-BN为什么 gate 放在 BN 后面论文比较了多种实现方式Conv weight BN scale Gate after BN Gate after BN - full gradient Taylor-output最终发现在 ImageNet 的 ResNet / VGG / DenseNet 上Gate after BN的相关性最好也就是把 gate 放在 BatchNorm 后面。论文把这种主要方法称为Taylor-FO-BN其中Taylor: Taylor expansion FO: First Order一阶近似 BN: gate 放在 BatchNorm 后论文的相关性实验显示Gate after BN 在 ResNet-101、VGG11-BN、DenseNet-201 上都能和真实 oracle importance 保持很高相关性其中 All layers Spearman 相关性在三个网络上均超过 93%。这说明 Taylor-FO-BN 的分数不仅能在单层内部排序也具有跨层比较能力。4.7 与 Fisher Information 的关系论文还指出一阶 Taylor gate importance 可以解释为 gradient variance也可以看作 Fisher Information Matrix 的对角线近似。简单理解如果某个 gate 的梯度方差很大 说明 loss 对该 gate 很敏感 这个 gate 对应的 filter 更重要。论文在方法部分说明在 log-likelihood loss 下gradient 的方差等于 Fisher information matrix 的期望外积因此提出的 metric 可以解释为 variance estimate也可以解释为 Fisher information matrix 的 diagonal。这给 Taylor pruning 提供了更强的理论解释它不是随便构造的启发式指标而是和 loss sensitivity / Fisher information 有联系。五、完整剪枝算法流程论文的剪枝流程是iterative pruning fine-tuning。整体过程如下输入 一个预训练网络 目标剪枝比例 一阶 Taylor importance criterion Step 1: 在可剪位置加入 gate。 通常放在 BN 后面。 Step 2: 用小学习率 fine-tune 网络。 Step 3: 每个 mini-batch 反向传播时 计算每个 gate 的梯度。 Step 4: 根据 gate 梯度计算每个 filter 的重要性分数。 Step 5: 累积多个 mini-batch 的 importance score。 Step 6: 每隔一定 mini-batches 删除 importance 最小的一批 filters。 Step 7: 继续 fine-tuning。 Step 8: 重复 pruning fine-tuning 直到达到目标剪枝数量。论文 Algorithm 的核心正是每个 mini-batch 更新网络权重并计算重要性经过若干 mini-batches 后对重要性取平均然后删除 (N) 个最小分数的 neurons / filters。六、关键公式6.1 真实重要性6.2 一阶 Taylor 参数重要性6.3 二阶 Taylor 参数重要性6.4 Filter / group 重要性6.5 参数重要性求和6.6 Gate 形式的重要性其中是对应 filter / neuron 后面的 gate。七、实验设置论文在CIFAR-10和ImageNet ILSVRC2012上验证。CIFAR-10 主要用于分析 oracle、Taylor 一阶、Taylor 二阶、weight magnitude 等指标之间的相关性ImageNet 上测试了 ResNet-34、ResNet-50、ResNet-101、VGG11-BN 和 DenseNet-201 等模型。ImageNet 实验使用 PyTorch 默认预训练模型作为起点数据预处理包括将图像短边 resize 到 256、随机裁剪 (224\times224)、随机水平翻转、标准化测试时使用中心裁剪。ImageNet 剪枝 fine-tuning 设置包括4 GPUs batch size 256 SGD 初始学习率 0.01 或 0.001 每 10 epochs 衰减 10 倍 momentum 0.9 pruning fine-tuning 共 25 epochs 每 30 mini-batches 删除 100 个 neurons这些设置来自论文 ImageNet pruning and fine-tuning 部分。八、实验结果解读8.1 Taylor-FO-BN 与 oracle 高相关论文首先研究不同剪枝准则与真实 importance 的相关性。真实 importance 的估计方式是逐个 filter 置零 ↓ 计算 loss 变化 ↓ 得到 oracle ranking结果显示Taylor-FO-BN 和 oracle ranking 的相关性非常高。在 ResNet-101、VGG11-BN、DenseNet-201 上All layers Spearman correlation 均超过 93%。相比之下weight magnitude 和 BN scale 的相关性明显较低。这说明只看权重大小并不能可靠判断 filter 重要性 用 loss sensitivity / Taylor gradient 估计更接近真实删除影响。这也是论文最核心的实验论证。8.2 一阶 Taylor 足够有效二阶成本太高论文在 CIFAR-10 和小模型上比较了一阶 Taylor 和二阶 Taylor。结论是一阶和二阶 Taylor 相关性都不错 二阶理论上更完整 但一阶计算更快、显存更低 大规模 ImageNet 实验主要使用一阶。论文明确指出经过 LeNet3 和 ResNet-18 / CIFAR-10 实验后作者观察到一阶和二阶 Taylor criteria 表现接近由于 Taylor FO 更快且内存占用更低因此 ImageNet 大模型实验使用一阶 criterion。这也解释了为什么后续很多论文更常用一阶 Taylor pruning。8.3 ResNet-101 / ImageNet40% FLOPs reduction 几乎不掉点在 ResNet-101 / ImageNet 上原始模型GFLOPs 7.80 Params 4.47 × 10^7 Top-1 error 22.63%Taylor-FO-BN-75%GFLOPs 4.70 Params 3.12 × 10^7 Top-1 error 22.65%也就是说剪掉约 40% FLOPs 和 30% 参数后Top-1 error 只增加 0.02%。论文摘要和实验部分都强调了这个结果。这个实验说明Taylor importance 能在大规模 ResNet 上找到较安全的冗余 filters 适度剪枝时几乎不损失 ImageNet 精度。8.4 ResNet-50 / ImageNet优于 ThiNet、NISP、SSS 等方法在 ResNet-50 上论文报告No pruning: GFLOPs 4.09 Params 2.56 × 10^7 Top-1 error 23.82% Taylor-FO-BN-72%: GFLOPs 2.25 Params 1.42 × 10^7 Top-1 error 25.50% Taylor-FO-BN-81%: GFLOPs 2.66 Params 1.79 × 10^7 Top-1 error 24.52% Taylor-FO-BN-91%: GFLOPs 3.27 Params 2.26 × 10^7 Top-1 error 23.57%论文表 3 中Taylor-FO-BN 在多个压缩点上相比 ThiNet、NISP、SSS 等方法具有更好的 accuracy / FLOPs trade-off。尤其值得注意的是Taylor-FO-BN-91% 的 Top-1 error 甚至略低于未剪枝模型这说明轻度结构化剪枝有时也能起到正则化效果。8.5 剪 skip connection 很重要论文不仅剪普通卷积通道还尝试在 ResNet 的 skip connections 上加 gate并一起估计重要性。结果显示Taylor criterion 对 skip connections 也有较高相关性因此作者在 ResNet 中同时剪 bottleneck layers 和 skip connections并把该方法称为 Taylor-FO-BN。论文指出不剪 skip connections 的变体在 ResNet-50 上有更明显精度损失。这点很重要因为很多早期剪枝方法会避开残差连接只剪 block 内部层而这篇论文说明如果重要性估计尺度足够一致 skip connection 也可以纳入统一剪枝过程。8.6 迭代剪枝优于一次性剪枝论文还比较了一次性剪掉大量 neurons 和迭代剪枝。结果显示一次性剪掉 10000 个 neurons 后再 fine-tuningTop-1 error 为 25.3%比 Taylor-FO-BN-50% 高 0.68%。作者认为这说明剪枝过程中反复重新评估 importance 是有必要的。原因很直观剪掉一批 filters 后 网络结构和特征分布会变化 原来的 importance ranking 不一定仍然准确 所以需要迭代重新计算。这和 Gate Decorator 的 Tick-Tock、CHIP 的重新校准思想是一致的。九、方法优点9.1 直接估计 loss sensitivity这篇论文最大的优点是它不再依赖权重大小这种间接指标而是直接估计删除某个 filter 对 loss 的影响。这比单纯 L1 / L2 norm 更接近剪枝真正目标。9.2 可以跨层全局比较Taylor-FO-BN 的重要性分数在不同层之间具有较好尺度一致性。论文强调该方法不需要 per-layer sensitivity analysis可以跨网络层一致缩放并且可以应用于包括 skip connections 在内的各种层。这使它比逐层固定比例剪枝更灵活。9.3 计算开销较低一阶 Taylor 只需要反向传播中的梯度因此实现成本相对较低。相比逐个 filter 删除并评估 loss它极大降低了 importance estimation 的计算量。9.4 支持不同网络结构论文在 ResNet、VGG、DenseNet 上都进行了实验说明该方法不局限于简单 sequential CNN。尤其是它能处理 skip connection这对 ResNet 系列很重要。9.5 理论解释较清楚该方法可以从 Taylor expansion、loss sensitivity、Fisher information diagonal 等角度解释不只是一个经验启发式指标。十、方法局限10.1 仍然是一阶近似一阶 Taylor 只是在当前参数点附近近似 loss 变化。但真正删除一个 filter 是较大的结构扰动可能超出局部线性近似范围。因此它仍然可能误判某些 filter 的长期重要性。10.2 需要反向传播和数据该方法依赖梯度所以需要一批训练或校准数据进行 forward/backward。相比纯权重范数剪枝它不是完全 data-free。10.3 仍需要 fine-tuning剪枝后模型必须继续 fine-tuning 才能恢复精度。论文中的 ImageNet 实验也是 pruning fine-tuning 共 25 epochs而不是直接剪完就部署。10.4 二阶方法成本较高虽然二阶 Taylor 更接近真实 loss 曲率但 Hessian 计算成本和显存开销都很高。论文在 ImageNet 中主要使用一阶方法本质上也是工程成本限制。10.5 对 Transformer / LLM 不能直接照搬这篇论文主要面向 CNN 的 neurons / filters / feature maps。对于 ViT、LLM、VLM剪枝对象可能变成attention heads MLP neurons tokens layers vision tokens KV cache entries不过思想可以迁移给结构单元加 gate ↓ 计算 loss 对 gate 的梯度 ↓ 用 Taylor 近似估计删除该单元的影响 ↓ 剪掉低 importance 单元所以它对后续 head pruning、neuron pruning、token pruning 都有启发意义。十一、和前面论文的关系这篇论文可以和前面几篇形成清晰对比L1 Filter Pruning: 看 filter 权重范数。 FPGM: 看 filter 在权重空间中的几何冗余。 HRank: 看 feature map 的 rank。 CHIP: 看 feature maps 之间的独立性。 Gate Decorator: 用 gate × gradient 的 Taylor loss 变化做全局排序。 Importance Estimation: 系统地从 Taylor expansion 出发 估计删除 neuron / filter 对 loss 的贡献。尤其是和Gate Decorator很接近。二者都使用 gate 和 Taylor 思想。区别是Importance Estimation: 更系统地分析一阶 / 二阶 Taylor importance 强调与 oracle importance 的相关性 在 ResNet / VGG / DenseNet 上验证跨层一致性。 Gate Decorator: 更强调 global filter importance ranking 引入 GBN、Tick-Tock、Group Pruning 等完整框架。十二、一句话总结《Importance Estimation for Neural Network Pruning》提出用 Taylor expansion 近似估计删除神经元 / filter 对 loss 的影响并以此作为结构化剪枝的重要性分数其中一阶 Taylor-FO-BN 方法只需利用反向传播中的 gate 梯度就能实现跨层一致的重要性估计在 ResNet、VGG、DenseNet 等 ImageNet 模型上取得优于传统 weight magnitude 和 BN scale 的剪枝效果。
模型剪枝经典论文精读：Importance Estimation for Neural Network Pruning
发布时间：2026/7/16 4:28:43
一、论文基本信息论文题目Importance Estimation for Neural Network Pruning作者Pavlo Molchanov、Arun Mallya、Stephen Tyree、Iuri Frosio、Jan Kautz发表信息CVPR 2019论文链接CVF Open Access / arXiv官方代码NVlabs/Taylor_pruning这篇论文发表于CVPR 2019由 NVIDIA 研究团队提出。论文的核心目标是估计神经元或 filter 对最终 loss 的贡献然后迭代删除贡献最小的结构单元。CVF 页面显示该论文收录于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 11264–11272。官方代码仓库为NVlabs/Taylor_pruning。仓库 README 明确说明该代码用于复现论文Importance Estimation for Neural Network Pruning的结果代码基于 PyTorch并提供了 ResNet-50 / ResNet-101 等 ImageNet 剪枝配置。二、论文要解决的问题在这篇论文之前很多结构化剪枝方法使用比较简单的启发式指标例如L1 / L2 weight magnitude: 权重范数越小越不重要。 BN scale: BatchNorm gamma 越小通道越不重要。 Activation magnitude: 激活越小通道越不重要。这些方法有一个共同假设权重越小贡献越小 激活越小贡献越小 BN gamma 越小通道越不重要。但是这篇论文质疑了这个假设。作者指出权重大小和真实重要性之间可能存在明显差距真正应该关心的是删掉某个 filter 后网络 loss 会增加多少。论文在引言中明确指出很多方法依赖 weight magnitude 与 importance 强相关的假设但作者观察到 weight-based pruning decision 与经验最优 one-step decision 之间存在明显相关性差距。所以这篇论文要解决的问题是不是问 这个 filter 的权重大不大 而是问 如果删掉这个 filter loss 会变化多少如果删掉某个 filter 后 loss 几乎不变说明它不重要可以优先剪掉。如果删掉某个 filter 后 loss 明显上升说明它重要应该保留。三、核心思想这篇论文的核心思想可以概括为一句话用 Taylor 展开近似估计删除某个神经元 / filter 引起的 loss 变化并把这个 loss 变化作为重要性分数。最理想的 filter 重要性定义是真实重要性 删除该 filter 前后的 loss 差异但是如果网络里有很多 filters逐个删除、逐个前向评估会非常昂贵。假设网络中有 (M) 个可剪单元如果要精确计算每个单元的重要性就需要构造 (M) 个删减版本并分别计算 loss。这显然不适合大模型。所以论文使用 Taylor expansion 近似真实删除影响 E(W) - E(W | w_m 0) Taylor 近似 用梯度和参数值估计这个变化这就把一个高成本的 brute-force evaluation 问题变成了一个几乎可以从反向传播中直接得到的 gradient-based scoring 问题。论文摘要中也明确说作者提出了一阶和二阶 Taylor expansion 两种方式来近似 filter contribution。四、方法细节4.1 剪枝重要性的理想定义给定网络参数训练目标是最小化误差剪枝可以理解为在训练目标中加入约束但是优化是非凸、NP-hard 的需要组合搜索因此不可直接求解。论文在方法部分明确指出minimization 没有高效优化方式因为它非凸、NP-hard并且需要 combinatorial search。于是论文采用 greedy pruning 思路每次删除一小批当前最不重要的神经元 。对某个参数 (w_m)真实重要性定义为删除它前后的 loss 差异平方这个定义非常直观删掉它loss 变化大 重要性高。 删掉它loss 变化小 重要性低。但问题是直接计算每个需要评估很多个删减网络计算代价太高。4.2 一阶 Taylor 重要性论文用 Taylor 展开近似删除参数造成的 loss 变化。对单个参数一阶近似可以写成其中也就是说参数重要性 ≈ 参数值 × loss 对该参数的梯度再平方后作为正的重要性分数。直观理解w_m 很大但梯度很小 删掉它对 loss 不一定敏感。 w_m 很小但梯度很大 它可能仍然很重要。 w_m × g_m 大 说明 loss 对删除该参数比较敏感。论文指出一阶形式很容易计算因为梯度 (g) 在反向传播中已经可用。4.3 二阶 Taylor 重要性论文也给出了二阶 Taylor 近似其中HHessian 矩阵Hessian 的第 (m) 行一阶梯度。二阶项理论上更精确因为它考虑了 loss 曲率。但是它的问题也很明显需要 Hessian 或 Hessian 近似 显存和计算成本更高 大规模 ImageNet 网络上难以使用。论文在实现细节中说明完整 Hessian 计算非常昂贵因此使用 diagonal approximation在 ImageNet 实验中由于内存限制不能计算 Hessian所以大规模实验主要使用一阶 Taylor criterion。4.4 从单个参数到整个 filter结构化剪枝不是删除单个 weight而是删除一个 filter / neuron。一个 filter 包含一组参数论文给出两种结构单元重要性估计方式。第一种是group contribution第二种是individual importance sum二者区别是group contribution: 先把所有 g_s w_s 加起来再平方。 更强调整个 filter 作为一个整体的贡献。 individual importance sum: 每个参数先算重要性再求和。 更像参数级贡献累加。论文后续主要使用 gate 形式来简化 filter / neuron 级别的重要性计算。4.5 Gate让 filter 重要性更容易计算论文引入了一个很重要的技巧在每个 neuron / feature map 后面加一个 gate。设 gate 为它的初始值固定为 1不参与普通优化。如果某个 gate 置为 0就等价于关闭对应 neuron / feature map。加入 gate 后重要性可以写成这个形式非常方便。因为 gate 本身恒为 1所以不需要再显式乘参数值对 gate 的梯度已经隐式包含了前一层 filter 权重和 bias 对 loss 的贡献。论文指出gate 可以简化重要性分数计算因为 gate 不参与优化、值恒定并且可以隐式合并 filter weights 和 bias 的贡献。直观理解给每个 filter 输出加一个开关 gate。 如果 loss 对这个 gate 的梯度很小 说明关掉这个 gate 影响小 对应 filter 可以剪掉。 如果 loss 对这个 gate 的梯度很大 说明关掉它会明显影响 loss 对应 filter 应该保留。4.6 Taylor-FO-BN为什么 gate 放在 BN 后面论文比较了多种实现方式Conv weight BN scale Gate after BN Gate after BN - full gradient Taylor-output最终发现在 ImageNet 的 ResNet / VGG / DenseNet 上Gate after BN的相关性最好也就是把 gate 放在 BatchNorm 后面。论文把这种主要方法称为Taylor-FO-BN其中Taylor: Taylor expansion FO: First Order一阶近似 BN: gate 放在 BatchNorm 后论文的相关性实验显示Gate after BN 在 ResNet-101、VGG11-BN、DenseNet-201 上都能和真实 oracle importance 保持很高相关性其中 All layers Spearman 相关性在三个网络上均超过 93%。这说明 Taylor-FO-BN 的分数不仅能在单层内部排序也具有跨层比较能力。4.7 与 Fisher Information 的关系论文还指出一阶 Taylor gate importance 可以解释为 gradient variance也可以看作 Fisher Information Matrix 的对角线近似。简单理解如果某个 gate 的梯度方差很大 说明 loss 对该 gate 很敏感 这个 gate 对应的 filter 更重要。论文在方法部分说明在 log-likelihood loss 下gradient 的方差等于 Fisher information matrix 的期望外积因此提出的 metric 可以解释为 variance estimate也可以解释为 Fisher information matrix 的 diagonal。这给 Taylor pruning 提供了更强的理论解释它不是随便构造的启发式指标而是和 loss sensitivity / Fisher information 有联系。五、完整剪枝算法流程论文的剪枝流程是iterative pruning fine-tuning。整体过程如下输入 一个预训练网络 目标剪枝比例 一阶 Taylor importance criterion Step 1: 在可剪位置加入 gate。 通常放在 BN 后面。 Step 2: 用小学习率 fine-tune 网络。 Step 3: 每个 mini-batch 反向传播时 计算每个 gate 的梯度。 Step 4: 根据 gate 梯度计算每个 filter 的重要性分数。 Step 5: 累积多个 mini-batch 的 importance score。 Step 6: 每隔一定 mini-batches 删除 importance 最小的一批 filters。 Step 7: 继续 fine-tuning。 Step 8: 重复 pruning fine-tuning 直到达到目标剪枝数量。论文 Algorithm 的核心正是每个 mini-batch 更新网络权重并计算重要性经过若干 mini-batches 后对重要性取平均然后删除 (N) 个最小分数的 neurons / filters。六、关键公式6.1 真实重要性6.2 一阶 Taylor 参数重要性6.3 二阶 Taylor 参数重要性6.4 Filter / group 重要性6.5 参数重要性求和6.6 Gate 形式的重要性其中是对应 filter / neuron 后面的 gate。七、实验设置论文在CIFAR-10和ImageNet ILSVRC2012上验证。CIFAR-10 主要用于分析 oracle、Taylor 一阶、Taylor 二阶、weight magnitude 等指标之间的相关性ImageNet 上测试了 ResNet-34、ResNet-50、ResNet-101、VGG11-BN 和 DenseNet-201 等模型。ImageNet 实验使用 PyTorch 默认预训练模型作为起点数据预处理包括将图像短边 resize 到 256、随机裁剪 (224\times224)、随机水平翻转、标准化测试时使用中心裁剪。ImageNet 剪枝 fine-tuning 设置包括4 GPUs batch size 256 SGD 初始学习率 0.01 或 0.001 每 10 epochs 衰减 10 倍 momentum 0.9 pruning fine-tuning 共 25 epochs 每 30 mini-batches 删除 100 个 neurons这些设置来自论文 ImageNet pruning and fine-tuning 部分。八、实验结果解读8.1 Taylor-FO-BN 与 oracle 高相关论文首先研究不同剪枝准则与真实 importance 的相关性。真实 importance 的估计方式是逐个 filter 置零 ↓ 计算 loss 变化 ↓ 得到 oracle ranking结果显示Taylor-FO-BN 和 oracle ranking 的相关性非常高。在 ResNet-101、VGG11-BN、DenseNet-201 上All layers Spearman correlation 均超过 93%。相比之下weight magnitude 和 BN scale 的相关性明显较低。这说明只看权重大小并不能可靠判断 filter 重要性 用 loss sensitivity / Taylor gradient 估计更接近真实删除影响。这也是论文最核心的实验论证。8.2 一阶 Taylor 足够有效二阶成本太高论文在 CIFAR-10 和小模型上比较了一阶 Taylor 和二阶 Taylor。结论是一阶和二阶 Taylor 相关性都不错 二阶理论上更完整 但一阶计算更快、显存更低 大规模 ImageNet 实验主要使用一阶。论文明确指出经过 LeNet3 和 ResNet-18 / CIFAR-10 实验后作者观察到一阶和二阶 Taylor criteria 表现接近由于 Taylor FO 更快且内存占用更低因此 ImageNet 大模型实验使用一阶 criterion。这也解释了为什么后续很多论文更常用一阶 Taylor pruning。8.3 ResNet-101 / ImageNet40% FLOPs reduction 几乎不掉点在 ResNet-101 / ImageNet 上原始模型GFLOPs 7.80 Params 4.47 × 10^7 Top-1 error 22.63%Taylor-FO-BN-75%GFLOPs 4.70 Params 3.12 × 10^7 Top-1 error 22.65%也就是说剪掉约 40% FLOPs 和 30% 参数后Top-1 error 只增加 0.02%。论文摘要和实验部分都强调了这个结果。这个实验说明Taylor importance 能在大规模 ResNet 上找到较安全的冗余 filters 适度剪枝时几乎不损失 ImageNet 精度。8.4 ResNet-50 / ImageNet优于 ThiNet、NISP、SSS 等方法在 ResNet-50 上论文报告No pruning: GFLOPs 4.09 Params 2.56 × 10^7 Top-1 error 23.82% Taylor-FO-BN-72%: GFLOPs 2.25 Params 1.42 × 10^7 Top-1 error 25.50% Taylor-FO-BN-81%: GFLOPs 2.66 Params 1.79 × 10^7 Top-1 error 24.52% Taylor-FO-BN-91%: GFLOPs 3.27 Params 2.26 × 10^7 Top-1 error 23.57%论文表 3 中Taylor-FO-BN 在多个压缩点上相比 ThiNet、NISP、SSS 等方法具有更好的 accuracy / FLOPs trade-off。尤其值得注意的是Taylor-FO-BN-91% 的 Top-1 error 甚至略低于未剪枝模型这说明轻度结构化剪枝有时也能起到正则化效果。8.5 剪 skip connection 很重要论文不仅剪普通卷积通道还尝试在 ResNet 的 skip connections 上加 gate并一起估计重要性。结果显示Taylor criterion 对 skip connections 也有较高相关性因此作者在 ResNet 中同时剪 bottleneck layers 和 skip connections并把该方法称为 Taylor-FO-BN。论文指出不剪 skip connections 的变体在 ResNet-50 上有更明显精度损失。这点很重要因为很多早期剪枝方法会避开残差连接只剪 block 内部层而这篇论文说明如果重要性估计尺度足够一致 skip connection 也可以纳入统一剪枝过程。8.6 迭代剪枝优于一次性剪枝论文还比较了一次性剪掉大量 neurons 和迭代剪枝。结果显示一次性剪掉 10000 个 neurons 后再 fine-tuningTop-1 error 为 25.3%比 Taylor-FO-BN-50% 高 0.68%。作者认为这说明剪枝过程中反复重新评估 importance 是有必要的。原因很直观剪掉一批 filters 后 网络结构和特征分布会变化 原来的 importance ranking 不一定仍然准确 所以需要迭代重新计算。这和 Gate Decorator 的 Tick-Tock、CHIP 的重新校准思想是一致的。九、方法优点9.1 直接估计 loss sensitivity这篇论文最大的优点是它不再依赖权重大小这种间接指标而是直接估计删除某个 filter 对 loss 的影响。这比单纯 L1 / L2 norm 更接近剪枝真正目标。9.2 可以跨层全局比较Taylor-FO-BN 的重要性分数在不同层之间具有较好尺度一致性。论文强调该方法不需要 per-layer sensitivity analysis可以跨网络层一致缩放并且可以应用于包括 skip connections 在内的各种层。这使它比逐层固定比例剪枝更灵活。9.3 计算开销较低一阶 Taylor 只需要反向传播中的梯度因此实现成本相对较低。相比逐个 filter 删除并评估 loss它极大降低了 importance estimation 的计算量。9.4 支持不同网络结构论文在 ResNet、VGG、DenseNet 上都进行了实验说明该方法不局限于简单 sequential CNN。尤其是它能处理 skip connection这对 ResNet 系列很重要。9.5 理论解释较清楚该方法可以从 Taylor expansion、loss sensitivity、Fisher information diagonal 等角度解释不只是一个经验启发式指标。十、方法局限10.1 仍然是一阶近似一阶 Taylor 只是在当前参数点附近近似 loss 变化。但真正删除一个 filter 是较大的结构扰动可能超出局部线性近似范围。因此它仍然可能误判某些 filter 的长期重要性。10.2 需要反向传播和数据该方法依赖梯度所以需要一批训练或校准数据进行 forward/backward。相比纯权重范数剪枝它不是完全 data-free。10.3 仍需要 fine-tuning剪枝后模型必须继续 fine-tuning 才能恢复精度。论文中的 ImageNet 实验也是 pruning fine-tuning 共 25 epochs而不是直接剪完就部署。10.4 二阶方法成本较高虽然二阶 Taylor 更接近真实 loss 曲率但 Hessian 计算成本和显存开销都很高。论文在 ImageNet 中主要使用一阶方法本质上也是工程成本限制。10.5 对 Transformer / LLM 不能直接照搬这篇论文主要面向 CNN 的 neurons / filters / feature maps。对于 ViT、LLM、VLM剪枝对象可能变成attention heads MLP neurons tokens layers vision tokens KV cache entries不过思想可以迁移给结构单元加 gate ↓ 计算 loss 对 gate 的梯度 ↓ 用 Taylor 近似估计删除该单元的影响 ↓ 剪掉低 importance 单元所以它对后续 head pruning、neuron pruning、token pruning 都有启发意义。十一、和前面论文的关系这篇论文可以和前面几篇形成清晰对比L1 Filter Pruning: 看 filter 权重范数。 FPGM: 看 filter 在权重空间中的几何冗余。 HRank: 看 feature map 的 rank。 CHIP: 看 feature maps 之间的独立性。 Gate Decorator: 用 gate × gradient 的 Taylor loss 变化做全局排序。 Importance Estimation: 系统地从 Taylor expansion 出发 估计删除 neuron / filter 对 loss 的贡献。尤其是和Gate Decorator很接近。二者都使用 gate 和 Taylor 思想。区别是Importance Estimation: 更系统地分析一阶 / 二阶 Taylor importance 强调与 oracle importance 的相关性 在 ResNet / VGG / DenseNet 上验证跨层一致性。 Gate Decorator: 更强调 global filter importance ranking 引入 GBN、Tick-Tock、Group Pruning 等完整框架。十二、一句话总结《Importance Estimation for Neural Network Pruning》提出用 Taylor expansion 近似估计删除神经元 / filter 对 loss 的影响并以此作为结构化剪枝的重要性分数其中一阶 Taylor-FO-BN 方法只需利用反向传播中的 gate 梯度就能实现跨层一致的重要性估计在 ResNet、VGG、DenseNet 等 ImageNet 模型上取得优于传统 weight magnitude 和 BN scale 的剪枝效果。
相关文章
Tokio 任务泄露检测：用 tokio-console 和 metrics 找到“僵尸任务“
Tokio 任务泄露检测：用 tokio-console 和 metrics 找到"僵尸任务" 这就是我今天要聊的：Tokio 任务泄露。它不是传统意义上的内存泄露，但后果一样严重——资源耗尽、响应变慢、最终 OOM。更坑的是，Rust 编译器帮不了你&a…
【MV】Camera Calibration: Radial and Tangential Distortion Correction
文章目录1、前景回顾2、图像成像中发生的畸变（透镜缺陷组装偏差）透镜缺陷（径向畸变）组装偏差（切向畸变）3、图像畸变如何校正？径向畸变切向畸变整体畸变4、参考1、前景回顾 前景回顾，…
Edge插件开发避坑指南：Manifest V3、Service Worker与打包发布全解析
1. 为什么Edge插件开发不是Chrome的简单复制？从底层机制说起 很多人第一次尝试为Edge写插件时，第一反应是“把Chrome插件代码丢进去改个manifest就行”，结果在 edge://extensions 页面点开开发者模式，加载完直接报错࿱…
Data Parallel C++ 入门指南：基于SYCL的异构计算编程实践
1. 项目概述：为什么我们需要关注 Data Parallel C？如果你是一名C开发者，并且正在为如何让代码在现代的CPU、GPU乃至其他加速器上高效运行而头疼，那么“Data Parallel C”这个名字，或者说它的核心实现DPC，绝…
华为交换机Web网管VLAN配置实战：从入门到精通
1. 华为交换机Web网管VLAN配置入门指南第一次接触华为交换机的Web网管界面时，很多人会被它简洁的界面所迷惑——看似简单，实则暗藏玄机。我刚开始配置VLAN时也踩过不少坑，比如把管理口误划到业务VLAN导致设备失联，或是批量操作时漏…
OpenClaw本地部署保姆级指南：绕过npm.ps1与API密钥陷阱
1. 项目概述：这不是一个“装软件”的教程，而是一次精准的开发者环境手术OpenClaw 这个名字最近在技术圈里冒得很快，但很多人点开 GitHub 仓库第一眼就懵了——它既不是传统意义上的 CLI 工具，也不是开箱即用的桌面应用，…
SAP交货单过账实战：WS_DELIVERY_UPDATE与BAPI_OUTB_DELIVERY_CONFIRM_DEC的深度对比与场景化应用
1. 交货单过账的核心接口选择在SAP系统中处理交货单过账时，开发人员最常遇到的两个核心接口就是WS_DELIVERY_UPDATE函数模块和BAPI_OUTB_DELIVERY_CONFIRM_DEC BAPI。这两个接口看似功能相似，但在实际项目中的应用场景和特性却大不相同。我经历过一个典型…
从C到C++进阶指南：面向对象、内存管理与STL实战
1. 从C到C：不仅仅是“更好的C” 如果你已经熟悉了C语言，那么恭喜你，你已经站在了学习C的绝佳起跑线上。但请先别急着把C简单地理解为“带类的C”或者“C的超集”。这种想法会让你在后续的学习中吃大亏。我见过太多有C语言基础的朋友…
【关注可白嫖源码】--课程设计+毕业设计+springboot医疗器械销售管理系统[编号：project15137]（案件分析）
本文仅展示核心实现逻辑与部分代码片段，完整项目源码、配套文档、数据库脚本内容较多，篇幅有限无法全部放出。 有需要完整资源的同学，可以在评论区留言【资料或领源码】，我会一 一回复站内私信，发送完整文件 摘 要 医…
遗传算法解5皇后问题：从Hello World到工业优化的进化实验室
1. 项目概述：为什么用遗传算法解5皇后问题，而不是直接回溯？我带过十几届算法课，也给不少初创团队做过AI架构咨询。每次讲到组合优化问题，学生和工程师的第一反应永远是“写个回溯试试”。这没错——55棋盘上找所有合法…
A--10 Codex Review与GitHub PR工作流实战指南：从代码审查到安全合并
摘要：本文系统讲解如何利用Codex App的Review功能与GitHub PR工作流，实现从代码修改到安全合并的完整流程。涵盖Review面板深度使用、/review命令实战、GitHub Connector配置、PR描述撰写技巧，以及常见问题排查方法。通过多个实战案例和流程图，帮助开发者建立高效的AI辅助代…
uos-exporter核心组件解析：10个关键监控导出器功能详解
uos-exporter核心组件解析：10个关键监控导出器功能详解 【免费下载链接】uos-exporter uos-exporter collects metrics from os 项目地址: https://gitcode.com/openeuler/uos-exporter 前往项目官网免费下载：https://ar.openeuler.org/ar/ uos-…
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成在智能家居和工业安全监测领域，烟雾检测是一个至关重要的环节。MQ-2 作为一款高性价比的半导体烟雾传感器，因其对多种可燃气体（如液化气、丙烷、氢气等）…
SPEC CPU 2006 v1.0.1 基准测试实战：ARM/X86/MIPS 三平台配置与 3 轮测试结果解读
SPEC CPU 2006 跨平台基准测试深度实战：ARM/X86/MIPS 架构配置优化与结果分析方法论在当今多元化的计算架构时代，如何客观评估不同处理器平台的真实性能成为系统工程师和性能优化专家的核心挑战。SPEC CPU 2006 作为业界公认的计算密集型基准测试套件&am…
每天60s读懂世界：2026年7月11日重点要闻解读
🔥 个人主页：杨利杰YJlio❄️ 个人专栏：《Windows 疑难杂症与工单复盘案例库》 《Sysinternals实战教程》《WINDOWS教程》 《Windows PowerShell 实战》 《人工智能实战合集》《超简单：用Python让Excel飞起来》🌟…
FAE放射组学分析工具：医学影像特征探索的完整解决方案
FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南 【免费下载链接】happy-llm 📚 从零开始构建大模型 项目地址: https://gitcode.com/GitHub_Trending/ha/happy-llm 还在为大型多模态模型动辄数十亿参数、显存占用高而烦恼&…
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址…