阿里巴巴最新研究：让AI“裁判“变得更公平

这项研究由阿里巴巴Qwen大模型应用团队联合中山大学、香港中文大学、北京大学、苏黎世联邦理工学院及苏黎世大学共同完成以预印本形式于2026年6月2日发布在arXiv平台论文编号为arXiv:2606.03980。有兴趣深入了解的读者可通过该编号查阅完整论文。**当AI给AI打分这件事比想象中复杂得多**假设你开了一家餐厅需要招聘一位评分员来评判厨师做出的每道菜。有些菜需要对照标准食谱来判断是否做对了有些菜需要品尝味道有些菜需要检查摆盘规范还有些菜需要看顾客反馈。如果你的评分员只会用一种方式——比如只会尝味道——那他对需要核对食谱或检查摆盘的菜肴就会束手无策。更麻烦的是如果你把所有的评判标准一次性塞给他他也会被信息淹没不知道从哪里下手。大语言模型也就是我们常说的AI的训练过程面临着完全相同的困境。训练AI的关键一步是告诉AI它的回答好不好。负责做出这个判断的就是所谓的奖励模型它扮演的正是那位餐厅评分员的角色。然而随着AI的能力越来越强它需要处理的任务也越来越多样写代码、做数学题、分析文章、遵守安全规范……每种任务的评判标准天差地别有时候需要运行代码来看结果有时候需要对照正确答案有时候需要检查格式是否规范有时候需要综合考量好几个维度。现有的评分工具要么太死板只给出一个分数不解释原因要么太混乱把所有标准一股脑塞进同一个提示词里把评分员搞晕。阿里巴巴等机构的研究团队为此提出了一套全新方案名为**Skill-RM**技能奖励模型。它的核心思路是把评分这件事变成一项可以被系统化执行的技能让评分员能够根据每道菜的具体情况主动调取最合适的评判工具而不是面对一堆杂乱的材料不知所措。---**一、现有的评分员为何总是力不从心**回到餐厅的比喻。传统的评分方式大概分两类。第一类是老派评分员——他把所有吃过的菜的印象压缩成一种内在感觉给出一个分数但他说不清楚为什么这道菜打了7分而不是8分更换一批菜之后他的标准可能也悄悄变了。这对应的是传统的标量奖励模型它们把复杂的评判标准压缩进模型参数里输出一个不透明的数字既难以解释也难以灵活调整。第二类是现代评分员——他会写一段话解释原因但他的工具箱是混乱的。他把食谱、摆盘规范、顾客反馈表全都摊在桌上一古脑儿翻阅容易遗漏重要信息也容易被无关内容分散注意力。这对应的是当前流行的大模型担任裁判LLM-as-a-Judge方式它依赖把所有评判标准一次性写入提示词缺乏对资源的系统管理。当然也有一些研究尝试引入评分细则Rubric或工具辅助Tool-augmented的方式但这些尝试往往只解决一个方面评分细则有了但执行工具没有或者工具有了但综合判断的逻辑不清晰。研究团队观察到当前领域缺少的是一种能把所有评判资源统一管理起来的框架——一种真正的全能评分员培训方案。---**二、Skill-RM的核心设计把评分变成一项可执行的技能**Skill-RM的灵感来自一个近年来在AI智能体研究中兴起的概念——智能体技能Agent Skill。简单来说一个技能就像一本操作手册加上一个工具箱的组合。手册里写着遇到什么情况应该先做什么再做什么调用哪个工具最后如何汇总结论。工具箱里放着各种辅助材料参考答案、检查清单、代码执行器、评分细则等等。重要的是工具箱默认是关闭的只有当你翻到手册里某个对应的步骤时才会打开对应的抽屉取出相应工具。这样既避免了信息过载又保证了需要的时候能找到对的工具。Skill-RM把这个思路直接用于奖励模型的设计。整套系统由三个核心部件构成。第一个部件是奖励评估技能本身用形式化语言来说它是一个包含操作规程说明书SKILL.md和资源库的组合包。操作规程定义了整个评判过程的逻辑该评估哪些方面什么情况下调用什么资源需要收集哪些证据最终如何输出结论。资源库则存放着各类评判材料。在Skill-RM的设计中这些资源被归纳为五大类评分细则与评估标准定义判断维度和优先级、参考资料用于核对事实准确性的答案或文章、检查清单与约束条件把格式规范等要求拆解成可逐项核对的条件、验证器与工具比如Python代码沙箱能真正运行代码来检验结果、以及校准与聚合规则用于在多个评估维度出现矛盾时做出综合判断。第二个部件是技能驱动的判断过程。当评分员也就是大模型裁判拿到一道待评分的题目和几个候选答案时它会先浏览一下任务说明判断这道题属于哪种类型。如果它发现这道题涉及代码格式规范它就打开检查清单抽屉如果涉及数学计算它可能需要调用代码沙箱来验证如果涉及事实核查它就去查参考资料。整个过程是一系列行动-观察的循环采取一个动作比如查看某个资源获得一个观察结果资源里的内容再决定下一步怎么做直到所有必要的证据都收集完毕。第三个部件是奖励读取函数。评分员走完整个评判流程后会输出一个结构化的判断结果其中包含每个评估维度的证据和结论。最终的奖励分数是从这个结构化结果中确定性地提取出来的不是模糊的印象而是有据可查的推断。更灵活的是这套机制既可以用于这个回答打几分的绝对评分场景点式奖励也可以用于这两个回答哪个更好的比较场景成对偏好统一在同一套框架下。---**三、资源库的构建不是随手拼凑而是精心整理**工具箱里的工具质量直接决定了评分员的水平因此研究团队在资源库的构建上下了很大功夫。他们通过一套大模型辅助策划流程来整理资源广泛收集来自奖励模型研究文献、标准评判协议、基准测试文档和可验证评估实践中的素材然后为每项资源定义明确的适用范围合并重复内容去除过于特化的启发式规则最终生成通用化的模块。整个资源库在评估开始前就被冻结确保实验结果可复现。研究团队特别强调这套资源不是把所有材料都塞进提示词的做法。资源库在默认状态下是隐藏的只有当操作规程中对应的步骤被触发时相关资源才会被加载进入评分员的视野。这种渐进式披露的设计是Skill-RM与传统方法的关键区别之一。---**四、实验验证Skill-RM的实际表现如何**研究团队在多个标准测试场景中对Skill-RM进行了全面评估试图回答五个核心问题。第一个问题是在标准评分基准测试上Skill-RM是否优于传统的大模型裁判方案测试使用了三个公认的评估基准RewardBench2测试多维度奖励能力、RM-Bench测试对内容细节和风格偏见的鲁棒性以及JudgeBench聚焦正确性评估。结果显示以Qwen3.5-27B为基础模型Skill-RM将平均分从83.9提升到了86.2三个基准全部有所改善。以更大的Qwen3.5-122B-A10B为基础时Skill-RM在JudgeBench上达到了85.2的最高分。与此同时Skill-RM的表现也超过了许多专门设计的奖励模型比如各类基于细则的评分系统和基于智能体的验证评分方案。第二个问题是如果给Skill-RM提供针对具体样本的额外资源比如参考答案、约束条件、验证器输出表现是否会进一步提升答案是肯定的。加载样本特定资源后平均分从86.2进一步提升到89.1在RewardBench2上达到86.0超过了使用相同骨干模型的OpenRS系统OpenRS在JudgeBench上较强这与其专门优化的评估设置有关。这说明Skill-RM不仅能在通用场景下表现良好在资源更丰富的场景下也能充分利用额外信息。第三个问题也是最关键的机制验证问题这些提升究竟来自技能驱动的资源组织还是仅仅因为给了评分员更多信息研究团队设计了一组精心的对比实验。在同样的Qwen3.5-27B模型上他们尝试了三种不同的加料方式直接把所有资源文本附加到提示词末尾不使用技能框架、把样本特定资源也直接附加进去、以及仅仅给模型加上一个Python工具访问权限。结果令人深思直接附加资源反而让平均分从83.9下降到了81.0加上样本特定资源的附加版本也只有82.0低于无任何补充的基准仅加Python工具的版本为83.6几乎没有提升。相比之下使用技能框架的Skill-RM达到86.2加上样本特定资源后更是达到89.1。这个对比清楚地说明提升的关键不在于给了多少信息而在于如何有组织地管理和使用这些信息。信息过载不仅没有帮助反而会干扰评分员的判断。第四个问题涉及最优N选一Best-of-N场景即从多个候选回答中选出最好的那个。使用JETTS测试集由Qwen2.5-72B-Instruct模型生成的10个候选答案池研究团队测试了Skill-RM在数学、指令遵循、代码等四类任务上的选择准确率。在数学题GSM8K上表现接近满分基本已经饱和。在指令遵循IFEval和代码正确性HumanEval上Skill-RM的改善最为明显超过了直接打分的基准方案和Skywork评分模型。复杂代码基准BigCodeBench仍然较难Skill-RM比基准稍有提升但距离理论上界还有较大差距说明这类任务仍是未来需要攻克的方向。第五个问题是Skill-RM能否被用作强化学习训练的奖励信号真正帮助提升AI模型的指令遵循能力研究团队以Llama-3.1-Tulu-3-8B-SFT为起点使用VerInstruct数据集以Skill-RM作为奖励信号通过GRPO算法进行强化学习训练。在IF-RewardBench的Kendall相关系数测试上该测试衡量奖励模型的排序质量Skill-RM的平均相关系数达到0.524高于所有对比方法包括Gemini-3-Flash0.513、GPT-5-mini0.456以及各类专门的判别式奖励模型。在单轮对话和多轮对话子集上Skill-RM分别达到0.619和0.540的成绩优势明显在系统提示词子集上Gemini-3-Flash略胜一筹说明处理复杂系统提示仍是Skill-RM的一个改进空间。训练完成后的模型在三个下游指令遵循基准IFEval、IFBench和AdvancedIF上的综合表现达到45.9分超过了使用同类训练数据的VerIF方案44.7分和Tulu 345.1分在IFEval和AdvancedIF上的提升最为明显IFBench上则与VerIF持平。---**五、在不同规模模型上的稳健性验证**研究团队还在多个不同规模的模型上验证了Skill-RM的有效性。他们分别使用了Qwen3.5系列的9B、27B、35B-A3B和122B-A10B四个版本进行测试。在所有四个规模的模型上Skill-RM在不使用样本特定资源的情况下都优于对应的直接裁判基准说明这套框架并不依赖特定规模的模型能力。不过实验也揭示了一个有趣的边界样本特定资源并非对所有规模都有益。对于9B这个较小的模型加入样本特定资源后平均分反而略有下降从66.2降至65.7说明较小的模型在自主筛选和应用外部资源方面能力有限可能无法可靠地判断这个资源对当前判断有没有帮助。研究团队将这个发现作为边界证据表明资源并不是越多越好模型的实际能力决定了它能有效利用多少资源。---**六、坦诚面对的局限与未来方向**研究团队在论文中直接点出了Skill-RM目前的三个局限而不是回避它们。第一当前的评估范围仅限于文本形式的指令遵循和标准奖励基准。将这套框架扩展到多模态图片、音频等内容、长周期智能体任务或高度主观的偏好对齐场景是一个有挑战性但值得探索的方向。第二目前的奖励评估技能依赖人工策划。虽然这保证了精确性和可解释性但如何自动生成和持续更新技能文件仍是一个开放问题。如果这个过程能够自动化将大大降低在新任务上部署Skill-RM的门槛。第三技能驱动的评判过程相比传统的单次前向计算需要更多的推理步骤带来了额外的计算开销。未来在自适应提前终止、证据缓存和高效资源剪枝等方向上的研究将是平衡评判质量与计算效率的关键。---说到底Skill-RM做的事情并不神秘它只是把一件大家都在做但做得比较随意的事情用一套严谨的框架规范了起来。评判一个AI的回答质量原本就需要参考不同的标准、调用不同的工具、综合不同维度的证据——只是以前大家都把这些事情塞进一段提示词里让AI自己凑合着解决。Skill-RM的贡献在于它让这个过程变得有序、透明、可以被检验就像把一个经验丰富但毫无章法的老厨师变成了一个有操作手册、有工具架、每道菜都能说清楚为什么打这个分的专业评审。对于普通用户而言这项研究最直接的意义在于你使用的AI助手未来将变得更可靠不只是在简单问答上表现更好在遵循复杂指令、处理代码和数学、以及在各种专业场景下的表现都会更贴近你真正的需求。而这种改善的背后正是因为训练AI的裁判本身变得更公平、更准确了。对研究者来说一个值得深思的问题是当如何使用信息比拥有多少信息更重要时我们在AI系统设计中是否过于关注扩大模型的参数规模和上下文窗口而忽视了对信息组织方式的设计Skill-RM的实验数据给出了一个明确的提示结构比体量更重要。感兴趣的读者可以通过arXiv编号2606.03980查阅完整论文代码也已在GitHub的Qwen-Applications/Skill-RM仓库公开发布。---**QA**Q1Skill-RM和普通的大模型评分方式有什么本质区别A普通大模型评分是把所有评判标准一次性塞进提示词让模型自己处理。Skill-RM则提供一套操作规程加工具库的组合模型根据当前任务类型主动选择调用哪些评判工具比如代码沙箱或参考答案收集有据可查的证据后再给出结论整个过程有明确的逻辑顺序而非一次性模糊判断。实验表明直接堆砌更多信息反而会让评分质量下降而有组织地管理信息才能真正提升准确率。Q2Skill-RM为什么把更多资源直接加进提示词反而会变差A这是实验中最反直觉的发现之一。原因在于信息过载会分散评分模型的注意力大量无关资源混在一起时模型难以判断哪些内容对当前任务真正有用容易被干扰。Skill-RM的资源库默认隐藏只有操作规程触发对应步骤时才加载相关资源有效过滤了噪音让模型专注于真正相关的证据。Q3Skill-RM在代码评测上表现有限原因是什么A在复杂代码基准BigCodeBench上Skill-RM相比基准有小幅提升但距离理论上界仍有较大差距。研究团队认为这类任务本身难度更高不仅需要代码执行判断还涉及复杂的功能语义理解仅靠当前资源库中的Python沙箱工具尚不足以充分覆盖所有评判维度。这也是研究团队指出的未来改进方向之一。