RL训练收益集中在Transformer中间层：层感知训练大幅降低算力消耗

30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度在强化学习RL与大语言模型LLM结合的训练流程中一个长期被广泛接受的假设是RL post-training 带来的性能提升均匀分布在模型的每一层参数中因此全参数更新是必要的。然而一项最新的研究通过系统性的实验发现RL 训练的大部分收益实际上高度集中在 Transformer 架构的某一个中间层仅训练这一层即可达到甚至超越全参数训练的效果。这一发现不仅挑战了行业共识也为大幅降低 RL 训练的算力消耗提供了明确的技术路径。这项研究在 7 个不同规模的模型基于 Qwen3 和 Qwen2.5 系列、3 种主流 RL 算法GRPO、GiGPO、Dr. GRPO以及数学推理、代码生成和智能体决策等多个任务域上进行了验证。实验设计了一个极简的诊断框架对于一个包含 L 个 Transformer 层的模型在 RL 训练时冻结除某一目标层外的所有其他层包括嵌入层和语言模型头然后评估该单一层独立训练所能恢复的性能收益。研究者定义了一个“层贡献度”指标即单层训练达到的性能与全参数训练性能的比值。贡献度为 1.00 意味着该层独自训练即可复现全参数训练的全部收益。1. 实验设计与核心发现1.1 诊断框架与层贡献度指标为了精确测量每个 Transformer 层在 RL 训练中的独立作用研究者构建了一个可控的实验环境。具体步骤如下模型选择与准备选取预训练好的基座模型如 Qwen3-8B-Base共 36 层并在特定的下游任务如数学推理数据集上评估其零样本性能作为基线。全参数 RL 训练使用标准的 RL 算法如 GRPO对模型的所有参数进行训练记录训练后在验证集上的最佳性能例如准确率达到 66.5%。这个性能被视为“全参数收益”的基准。单层 RL 训练重新初始化模型至预训练状态。依次选择第 i 层i 从 0 到 L-1作为唯一可训练层冻结所有其他层的参数。使用相同的 RL 算法、相同的训练数据量和超参数如学习率、批次大小对该单层进行训练。计算层贡献度单层训练结束后在同一验证集上评估性能。层贡献度计算公式为贡献度 (单层训练性能 - 基线性能) / (全参数训练性能 - 基线性能)贡献度 ≥ 1.00 表明该单层训练的效果等于或优于全参数训练。1.2 反常识的实验结果在 Qwen3-8B-Base 模型的数学推理任务上全参数 GRPO 训练将准确率从基线提升至 66.5%。而令人惊讶的是仅训练第16层冻结其余 35 层准确率达到67.1%层贡献度为1.07实现了反超。仅训练第15层准确率与全参数训练持平贡献度为1.00。相反如果只训练第0层最接近输入的第一层准确率反而低于基线贡献度为-0.51说明单独训练底层对任务有损害。如果采用“仅训练贡献度最高的 10 层”的策略Only B10准确率进一步提升至69.1%显著优于全参数训练。这一模式在代码生成和智能体任务中同样成立尽管在智能体任务上单层的优势相对较小。这表明RL 训练带来的“智慧”增长并非均匀扩散而是高度集中于网络的特定区域。2. 现象背后的原理探析2.1 Transformer 层的功能分化要理解为什么中间层成为 RL 收益的“黑洞”需要回顾 Transformer 模型在预训练过程中形成的层次化功能分工底层0~N1主要负责词汇、语法、局部依赖等表层语言特征的提取。例如识别词性、基本句法结构。中间层N1~N2承担着高级语义整合、逻辑推理、关系建模等核心认知功能。这一区域是模型进行“思考”和“理解”的关键部位。高层N2~L更接近输出负责将内部的高维表示解码为具体的词元概率即“表达”功能。已有大量研究通过探针probe或激活值分析证实了这种功能上的分化。2.2 RL 信号与中间层的天然契合RL post-training 的本质是通过奖励信号来引导模型生成更符合人类偏好或任务需求的输出。这个过程的核心不是教模型新的语法底层功能也不是优化它输出每个词的概率高层功能而是调整模型内部的推理路径和决策过程。例如在数学推理中RL 信号奖励的是正确的解题逻辑链在代码生成中奖励的是符合编程规范的算法实现。这些“如何正确思考”的信号其作用点恰恰落在了负责高级语义整合和逻辑推理的中间层。因此当 RL 的梯度反向传播时对中间层参数的调整最为直接和有效。底层和高层参数虽然也会接收到梯度但它们的主要功能与 RL 目标关联较弱其参数变化更多是一种被动的、辅助性的调整甚至可能引入噪声如第 0 层的负贡献。2.3 贡献度的分布规律实验数据清晰地展示了贡献度沿网络深度的分布曲线一个典型的“中间凸起、两头塌陷”的形态。在 Qwen3-8B36层中高贡献度层密集出现在第12 层到第 20 层之间峰值在第 15、16 层。早期层如 0-5 层贡献度很低或为负。晚期层如 25-35 层贡献度显著下降但仍为正值。这种非均匀的分布具有很强的鲁棒性在不同模型规模、不同 RL 算法和不同任务类型中都保持了高度一致性。3. 层感知训练策略与实践指南这一发现最直接的价值在于催生了一种新的训练范式层感知训练。其核心思想是在 RL post-training 中对不同贡献度的层采取差异化的训练策略从而大幅提升训练效率。3.1 选择性训练策略最激进的策略是只更新被识别出的高贡献层。具体操作如下层贡献度分析在目标模型和任务上进行一次小规模的、快速的层贡献度探测实验。这可以在一个较小的数据集和较少的训练步数内完成成本远低于一次完整的全参数训练。确定高贡献层集合根据贡献度排序选择排名靠前的一些层如 Top-K 层。论文中的“Only B10”策略即为一例。执行选择性训练在正式的 RL 训练中仅解冻高贡献层集合中的参数冻结所有其他参数。优化器只对这些层的参数进行更新。示例代码PyTorch 风格import torch import torch.nn as nn from transformers import AutoModelForCausalLM # 加载预训练模型 model AutoModelForCausalLM.from_pretrained(Qwen/Qwen3-8B) # 假设通过探测实验我们确定高贡献层为 [12, 13, 14, 15, 16, 17, 18, 19, 20] high_contribution_layer_indices [12, 13, 14, 15, 16, 17, 18, 19, 20] # 首先冻结所有参数 for param in model.parameters(): param.requires_grad False # 然后仅解冻高贡献的Transformer层 for idx in high_contribution_layer_indices: # 假设模型的Transformer层存放在 model.model.layers 中 for param in model.model.layers[idx].parameters(): param.requires_grad True # 现在在配置优化器时只有 requires_gradTrue 的参数会被更新 optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-5) # ... 后续进行正常的RL训练循环 ...3.2 差异化学习率策略一个更温和的策略是为不同层分配不同的学习率而不是完全冻结低贡献层。分组设置学习率将模型参数分为若干组例如高贡献层组分配较大的学习率如lr_high。中贡献层组分配中等学习率如lr_medium。低/负贡献层组分配很小的学习率如lr_low甚至设置为 0等效于冻结。优化器配置在 PyTorch 中可以通过optimizer的param_groups实现。# 接上例假设我们已经定义了层分组 optimizer torch.optim.Adam([ {params: model.model.layers[12].parameters(), lr: 1e-5}, # 高贡献层高学习率 {params: model.model.layers[15].parameters(), lr: 1e-5}, {params: model.model.layers[0].parameters(), lr: 1e-7}, # 低贡献层极低学习率 # ... 添加其他层 ... ], lr1e-6) # 这个 lr 将作为未显式指定层的默认学习率3.3 策略选择与效果预期策略优点缺点适用场景全参数训练行业标准无需额外分析算力浪费严重可能包含噪声更新缺乏探测资源或对稳定性要求极高的初期探索选择性训练算力节省最大训练速度最快依赖准确的层贡献度分析可能因任务耦合而丢失微小收益算力预算紧张任务目标明确且已进行过探测差异化学习率灵活性高能保留所有层的微调能力鲁棒性更好节省的算力不如选择性训练超参学习率比例调优稍复杂生产环境首选在效率和稳定性间取得平衡论文实验表明无论是选择性训练还是差异化学习率策略在大多数情况下其性能都不低于且常常优于标准的全参数训练。4. 常见问题与排查指南在实际应用层感知训练时可能会遇到以下问题4.1 贡献度分析结果不稳定现象在不同随机种子或小规模探测数据集上高贡献层的排名波动较大。可能原因探测数据量不足结果统计显著性不够。RL 训练本身的不稳定性。排查与解决增加探测数据量确保探测实验的数据集具有代表性且足够大。多次实验取平均进行 3-5 次不同种子的探测实验计算各层贡献度的平均值和方差选择排名稳定靠前的层。关注层区间而非单层如果单层排名不稳定可以关注一个贡献度较高的层区间如 12-20 层然后对这个区间内的所有层应用策略。4.2 层感知训练效果不如全参数训练现象应用了选择性训练或差异化学习率后模型性能反而下降。可能原因层贡献度分析不准错误地冻结了关键层或高估了某些层。任务本身需要更广泛的层间协作如某些复杂的智能体任务。学习率等超参数未针对新策略重新调优。排查与解决复核贡献度分析检查探测实验的设置是否与正式训练一致。逐步解冻从冻结大部分层开始逐步增加可训练层的数量观察性能变化找到性价比最高的点。重新调优超参层感知训练改变了优化 landscape需要重新搜索最佳学习率、热身步数等。任务特异性对于智能体等复杂任务可能确实需要更多层的参与。此时差异化学习率策略比选择性训练更合适。4.3 如何将此法应用于其他模型架构问题该研究主要基于 Qwen 系列模型结论能否推广到 LLaMA、Gemini 等其他架构指导原则Transformer 架构的功能分化是普适的因此“中间层收益集中”的现象很可能普遍存在。但具体的高贡献层位置会因模型架构如层数、注意力头数、预训练数据和方式的不同而有所变化。实践建议不可直接套用层号不能认为 Qwen3-8B 的第 16 层重要就认定 LLaMA-3-70B 的第 16 层也重要。必须进行探测实验对任何新模型和新任务都应先进行小规模的层贡献度分析以确定该特定场景下的高贡献层。关注相对位置可以关注高贡献层在总层数中的相对位置。例如在 Qwen3-8B36层中高贡献层大约在总深度的 1/3 到 2/3 处。5. 最佳实践与未来展望5.1 RL 训练流程优化清单在部署层感知 RL 训练时建议遵循以下清单[ ]必经步骤在目标模型和任务上设计并执行层贡献度探测实验。[ ]策略选择根据算力、时间和稳定性需求选择选择性训练或差异化学习率策略。[ ]超参数调优针对新策略重新调优学习率、批次大小等关键超参数。[ ]严格监控在训练过程中密切监控奖励曲线和评估指标与全参数训练的基线进行对比。[ ]结果验证训练结束后在独立的测试集上进行最终评估确认性能增益。5.2 对行业的影响与展望这项研究的意义远不止于提供一个“训练技巧”。它标志着大模型训练正在从“粗放式”的全参数更新走向更精细化的“结构性优化”。效率革命RL 训练的算力成本一直是其广泛应用的主要障碍。层感知训练有望将成本降低一个数量级使得更多研究团队和公司能够负担得起大规模的 RL 对齐实验。新的诊断工具“层贡献度”将成为 RL 训练中一个重要的诊断指标帮助开发者理解模型的学习行为快速定位问题。推动架构探索这一发现可能会激励新的模型架构设计例如专门为 RL 微调阶段设计更强大或更高效的中间层结构。挑战固有认知它提醒我们当前许多被视为“最佳实践”的范式可能只是历史路径依赖的结果而非技术上的最优解。随着测量工具的进步更多类似的“反常识”发现将会出现。尽管这项研究仍有其局限性如模型和算法的覆盖范围但其核心结论——RL 收益在 Transformer 层间呈高度非均匀分布——是坚实且具有颠覆性的。对于任何从事大模型 RLHF 或 RL 训练的研究者和工程师来说将层感知策略纳入工作流程已不再是一个可选的前沿探索而是一项能够直接提升效率和性能的务实选择。下一步的工作是将其更广泛地应用于不同的模型家族和任务类型并开发出自动化、自适应的层感知训练框架。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度