Skill-RM：通过Agent技能统一异构评估标准

Skill-RM通过Agent技能统一异构评估标准来源arXiv:2606.03980链接https://arxiv.org/html/2606.03980v1优化日期2026-06-01领域大模型奖励模型Reward Models、Agent评估、RLHF、可解释性 概述与核心贡献奖励模型Reward Models是大型语言模型LLM后期训练如RLHF、RFT的核心但现有的评估方法往往依赖不透明的、单一的打分机制。本文提出的Skill-RM引入了一种统一框架将奖励建模重构为执行一个可复用的奖励评估技能Reward-Evaluation Skill。它动态编排证据和资源生成透明且基于证据evidence-grounded的奖励。核心创新技能中介执行Skill-Mediated Execution将奖励计算视为一个结构化的智能体任务而非静态的评分函数。外部化逻辑评估标准和资源被打包成一个可复用、版本控制的技能SKILL.md 资源库而非埋藏在模型权重或扁平提示词中。证据化判定Evidence-Bearing输出带有结构化的、基于准则的证据E及最终决策d实现全程可追溯、可审计。动态资源选择Dynamic Resource Selection仅按需加载/执行相关资源最小化上下文噪音最大化评分精度。️ 框架架构与核心公式核心架构Skill-RM 由三个核心组件构成奖励评估技能 (S_RM (M_RM, U_RM))M_RM程序化规格流程、协议U_RM异构资源库评分标准、参考文本、检查清单、验证器、校准规则技能中介评估流程代理根据输入动态检索、执行并综合资源遵循分阶段协议。确定性奖励读取Deterministic Reward Readout函数A(·)将结构化的执行轨迹τ映射到所需的奖励输出点评分、成对偏好或索引。关键数学公式S_{RM} (M_{RM}, U_{RM})z (E, d), \quad E \{e_m\}_{m1}^M \quad \text{where } e_m (c_m, q_m, s_m)r^{\text{Skill}}_\phi(x, Y; S_{RM}) A(\tau) 实验结果与表现数据基准测试 / 指标基线 (Qwen3.5-27B)Skill-RM样本特定资源平均得分 (Avg. Score)83.986.289.1RewardBench281.185.086.0RM-Bench89.891.591.5JudgeBench80.882.189.7任务 / 设置Skill-RM 结果对比基线Best-of-N 选择 (GSM8K)97.8oracle: 97.9 (接近最优)IF-RL 训练效果平均: 45.9VerIF: 44.7 / Tulu3: 45.1IF-RewardBench平均: 0.524Gemini-3-Flash: 0.513 消融实验洞察 (Ablation Insights)技能组织 资源可用性直接将资源附加到提示中会降低性能平均分从 83.9 降至 81.0。性能提升源于技能的结构化调用协议而非单纯的上下文扩展。样本特定资源Sample-Specific Resources挂载协议特定的参考/约束通过技能协议平均提升5.2证明了对特定任务证据的适应能力。骨干模型鲁棒性性能提升在 Qwen3.5 系列9B 到 122B-A10B中一致存在。小模型9B从样本特定资源中获得的收益递减表明资源选择可靠性存在规模依赖性。 核心引用与观点“Skill-RM not only provides a unified solution for reward modeling but also achieves superior performance through the strategic and dynamic orchestration of evidence.”(Skill-RM 不仅为奖励建模提供了统一方案还通过对证据的战略性和动态编排实现了优越性能。)“Rather than eliciting rewards through opaque parameter-based scoring or unstructured, flat-prompting, Skill-RM treats reward computation as the systematic execution of a reusable Reward-Evaluation Skill.”(与不透明的基于参数评分或无结构的扁平提示不同Skill-RM 将奖励计算视为可复用奖励评估技能的系统化执行。) 局限性与未来工作范围限制目前仅限于文本指令遵循text-based instruction-following扩展到多模态或长程智能体任务仍是开放问题。策展依赖Curation依赖人工策划的技能。未来工作将侧重于自动化构件构建和自我改进更新机制。推理开销动态技能执行引入了推理开销。需要自适应早期停止early stopping、证据缓存caching和高效剪枝来平衡保真度与速度。 实验步骤与脚本资源实验环境配置# 克隆 Skill-RM 评估仓库gitclone https://github.com/Skill-RM/Skill-RM.gitcdSkill-RM# 创建环境conda create-nskillrmpython3.10conda activate skillrm# 安装依赖pipinstall-rrequirements.txt# 下载基准数据集与预训练模型bashscripts/download_data.sh运行评估# 运行整体评估python run_eval.py--benchmarkjudge_bench--modelQwen3.5-27B# 运行带有样本特定资源的评估python run_eval.py--benchmarkjudge_bench--use_sample_resources--modelQwen3.5-27B# 生成可追溯的证据报告python generate_report.py--inputresults/--outputreport.pdf资源与模型下载# 下载特定协议的资源包bashscripts/download_resources.sh--protocolref_math# 验证模型权重与性能python verify_performance.py--configskill_config.yaml 专家总结与洞察Skill-RM 通过**“外部化逻辑”**彻底改变了奖励模型的运作方式。将评分逻辑从黑盒权重中提取出来包装成标准的SKILL.md使得模型在评估时能够像人类一样“调取规则、查找依据、得出结论”。其核心突破在于证据化评分Evidence-Bearing每一个得分都能追溯到具体的依据解决了传统模型评分“不可解释”的痛点。动态资源选择避免了传统提示词中堆砌大量资源导致的上下文噪音极大提升了小模型在复杂推理任务上的表现。结构化调用协议证明了“技能组织”比单纯的“资源堆砌”更能提升性能直接附加资源反而使分数下降至 81.0。该框架为 RLHF 后期的奖励校准和 Agent 的自主审计提供了极具操作性的技术蓝图。本文基于 arXiv:2606.03980v1 优化整理保留原始实验步骤、脚本及资源链接。