《CVPR2025-DEIM创新改进项目实战：从原理到部署的深度学习优化全攻略》012、DEIM训练策略：学习率调度、权重初始化与正则化

DEIM训练策略：学习率调度、权重初始化与正则化一、从一次“训崩”的惨痛经历说起去年秋天，我在DEIM模型上跑一个目标检测任务，batch size设了64，学习率按老习惯给了0.01，权重初始化用了默认的Kaiming Uniform。结果训练到第15个epoch，loss突然从0.8跳到了3.2，然后一路狂飙到NaN。当时我盯着终端里那一串“inf”，心里一万只草泥马奔腾——DEIM这种带动态均衡机制的模型，对训练超参数敏感得像个大小姐，稍微伺候不好就给你脸色看。后来排查发现，问题出在三个地方：学习率调度策略太激进、权重初始化没考虑DEIM特有的均衡模块、正则化力度过大把梯度压死了。今天这篇笔记，就把我踩过的坑和最终验证有效的方案，掰开揉碎了讲清楚。二、学习率调度：别让DEIM的“动态均衡”变成“动态震荡”DEIM的核心机制是动态均衡损失函数，它会根据训练过程中正负样本的分布自动调整权重。这个机制本身是好事，但如果你用传统的StepLR或者CosineAnnealingLR，很容易出问题。我踩过的坑：一开始用了CosineAnnealingLR，周期设了50个epoch，初始学习率0.01。前10个epoch表现正常，但到了第12个epoch，学习率开始快速下降，DEIM的均衡模块还没来得及收敛，就被迫跟着学习率一起“刹车”。结果就是：均衡模块的权重更新滞后，导致loss震荡，最终发散。正确的做法：对于DEIM，推荐使用Warmup +