清华与蚂蚁集团联手破解AI训练难题：让大模型“吃什么“不再靠猜

这项由清华大学与蚂蚁集团、中国人民大学合作完成的研究于2026年7月1日以预印本形式发布论文编号为arXiv:2607.01104感兴趣的读者可通过该编号查询完整论文。训练一个强大的大语言模型本质上和培养一个全能型学生没什么两样。你需要给这个学生喂各种各样的知识数学题、编程练习、阅读理解、安全常识……但问题来了——这些内容各喂多少比例怎么分才能让学生最终考出最好的成绩这个问题听起来简单却让人工智能研究者们头疼了很久。每次训练大型语言模型都需要耗费巨大的计算资源就像开一家顶级餐厅食材成本高得吓人。你不能一道菜一道菜试着来更不能把菜单上所有组合都试一遍——那会让你破产。所以研究者们一直在寻找一种聪明的方法能在少量试验的基础上推算出最佳的食材配比。现有的方法比如业界常用的RegMix思路是找一批小号练习模型用不同的数据比例训练它们观察哪种比例表现更好再把这个比例应用到真正的大模型上。这种方法有一个致命缺陷它假设数据的质量和特性是固定不变的。但现实中不同批次的数据质量千差万别——有的数学题又难又深有的则浅显简单有的代码注释清晰有的则一团糟。当你换了一批新数据之前学到的最佳配比往往就失效了只能从头再来重新耗费大量资源进行实验。这项研究提出的CAUSALMIX框架换了一个根本性的视角来看待这个问题。一、从猜配方到看病情开药方——因果推断视角的引入现有方法的核心逻辑类似于一位厨师积累了大量某道菜加多少盐会得到多少分的记录然后用这个历史记录来预测下次应该加多少盐。这种做法的隐含假设是每次做菜的食材质量都一样厨房条件也完全相同。一旦食材批次变了这份记录就不再可靠了。CAUSALMIX的思路更像一位经验丰富的中医它不只记录加多少盐得多少分而是先把每批食材的体质摸清楚——这批食材的难度如何质量如何风格如何——然后再问在这批特定食材的条件下调整哪个领域的数据比例会带来最大的收益用更正式的语言来说研究团队把每次训练实验看作一次治疗treatment把数据的统计特征看作病人的体质covariates把最终模型的表现看作治疗效果outcome。整个问题就变成了对于当前这批特定体质的数据每种治疗方案数据配比调整会产生多大的因果效果这正是医学领域中条件平均治疗效应CATE的标准问题框架。为什么要用因果推断而不是普通的统计预测这里有一个微妙但重要的区别。普通的统计预测会把数据本身的质量高低和数据配比调整的效果混为一谈。举个例子某一批数学数据恰好质量很高同时实验中数学比例也很高于是模型表现好。但我们搞不清楚到底是数学数据质量高带来了好表现还是数学比例高带来了好表现还是两者共同作用的结果如果把这两个因素混在一起下次换了一批质量普通的数学数据套用同样的配比效果就会大打折扣。因果推断的核心技术——双重机器学习Double Machine Learning简称DML——专门解决这个去混淆的问题。它的操作方式类似于从照片中去除背景光线的干扰只看物体本身的颜色。具体来说研究团队先用机器学习模型分别预测在当前数据体质下模型表现的基准线应该是多少数据配比的基准线应该是多少然后把实际观测值减去这两个基准线得到两个残差。对残差做分析就能看出纯粹由于数据配比调整而非数据本身质量带来的效果到底有多大。这个过程叫做正交化通俗地说就是把数据质量的影响和配比调整的影响拆分开来单独研究后者。二、这批数据的体质怎么量化——三个关键指标的选择要把数据的体质量化成计算机能理解的数字研究团队从一个包含30个维度评分的大型数据集OpenDataArena-scored-data-2603中挑选了三个最能代表数据状态的核心指标。第一个指标叫做HES高熵熵和专门用来衡量数据的思维复杂度。它的计算方式是用一个大型语言模型Qwen3-8B对文本进行推理然后找出那些模型最犹豫不决的关键决策点把这些点的不确定程度加总起来。可以把它理解为一道数学题中真正需要你绞尽脑汁思考的步骤有多少这个数字越高说明数据对模型的推理能力挑战越大复杂度越高。第二个指标叫做Normalized Loss归一化损失用来衡量数据的学习难度。它的计算方式是用同一个模型Qwen3-8B对文本计算交叉熵再做归一化处理。直白地说就是这道题对于当前水平的学生来说有多难猜到下一步该怎么做。难度越高模型越难预测归一化损失就越大。这个指标反映的是数据对模型来说的学习价值和训练效用。第三个指标叫做Writing Style写作风格评估文本的质量、清晰度和连贯性。它使用一个专门训练的文本质量评估模型QuRater-1.3B来打分。可以把它理解为这份学习材料写得好不好、条理不条理、表达清不清楚质量越高对模型的正向影响越稳定。这三个指标分别对应数据的复杂度、难度和质量三个维度形成了一个多角度刻画数据体质的完整画像。研究团队通过系统性实验验证了这个组合他们随机抽取64组历史实验记录作为验证集尝试了几乎所有可能的指标组合最终发现这三个指标的组合达到了最高的斯皮尔曼秩相关系数0.7557明显优于单独使用任何一个指标也优于加入更多指标的情况。加入太多指标反而会导致模型性能下降这是因为512组历史实验记录相对有限维度过高会让因果模型难以准确学习即所谓的维度诅咒。三、从因果效应到实际配比——如何把诊断结果变成处方经过正交化处理后研究团队使用一种叫做因果森林双重机器学习CausalForestDML的算法来估计每个数据领域的因果边际回报。这个算法来自经济学领域的因果推断工具箱本质上是一种非参数的树状结构模型特别擅长捕捉复杂的交互效应和局部异质性——也就是说它不假设增加数学数据的效果在所有情况下都一样而是能够根据当前数据的具体体质给出个性化的效果估计。研究团队用了512组历史代理模型训练实验来训练这个因果模型。每组实验使用Qwen2.5-0.5B这个小模型参数量5亿在10万条数据上按照某种随机抽取的配比训练然后评估其在知识、推理、数学、编程、指令遵循、安全性等六个维度的表现。这512组实验就构成了因果模型的训练素材。当需要为一批新数据确定最佳配比时研究团队先计算这批新数据的三个体质指标然后把这些指标输入训练好的因果模型得到每个领域的边际因果回报估计值。这个值可以理解为在这批数据的条件下适当增加该领域的数据比例平均会带来多大的性能提升把这个估计值转化为实际配比有两种方式。第一种是直接解析推导通过严格的数学证明利用KKT最优性条件可以推导出最优解的闭合形式。具体结论是对于因果回报为负的领域最优比例应该设为零对于因果回报为正的领域最优比例与其因果回报值成正比即回报越大分配越多并通过归一化保证所有比例之和为1。这个结论在数学上是严格最优的整个推导过程有完整的KKT条件验证。第二种方式是搜索加融合从一个数学分布Dirichlet分布中随机抽取10万个候选配比把每个候选配比转化为对数形式后输入因果模型预测其在目标数据状态下的得分选取排名前100的候选配比取其平均值作为最终策略。这种方式通过局部集成的思想降低了单一解的偏差让结果更加稳健。四、用小模型的实验指导大模型的训练——跨规模迁移验证CAUSALMIX最令人关注的特性之一就是它对跨规模迁移的支持。研究团队用Qwen2.5-0.5B5亿参数的小模型训练因果模型然后把学到的最优配比直接应用于Qwen2.5-7B70亿参数的大模型的训练无需为大模型重新做代理实验。实验结果表明这种迁移是有效的。在80万条数据的训练规模下CAUSALMIX指导的7B模型在开发集综合得分AvgDev上达到61.84分解析版和62.28分搜索版超过了RegMix的60.14分、DMO的60.35分以及等量混合基线的60.02分。在编程能力这一单项上CAUSALMIX的表现尤为突出远超其他方法。研究团队在多个数据规模下重复了对比实验10万、40万、80万条数据。在几乎所有设置下CAUSALMIX都稳定地优于现有基线方法尤其是相比SFT领域的最新方法DMO优势较为一致。这种跨规模的稳定性支持了研究中引用的排名不变性假设——即在小模型上表现好的配比在大模型上通常也表现好。五、换一批完全不同的数据还管用吗——在长链式推理数据上的迁移实验除了跨模型规模的迁移研究团队还验证了一个更大胆的问题能不能把在一批数据tulu-3-sft-mixture上训练的因果模型直接迁移到一批完全不同的数据AM-Thinking-v1-Distilled一个专注于数学和编程的长链式推理数据集上指导一个完全不同系列的模型Qwen3-4B-Base的训练这个实验的难度在于新数据的风格、领域分布和格式与原始训练数据有根本性的差异——前者是通用的指令遵循数据后者是包含大量长步骤推理过程的高难度数学和编程数据。模型也换了从Qwen2.5系列换成了Qwen3系列。即便如此CAUSALMIX在数学和编程两个领域的综合平均分66.66分依然显著优于所有对比方法等量混合为63.80分表现第二好的Grid搜索为64.74分DMO为63.47分而RegMix仅有61.40分。特别是在MATH这一高难度数学基准上CAUSALMIX取得了60.58分而竞争最激烈的Grid方法为61.20分两者非常接近整体综合表现上CAUSALMIX领先。这个结果说明CAUSALMIX学到的不是某批特定数据应该怎么配而是数据体质和配比效果之间的底层规律。只要能准确刻画新数据的体质三个指标因果模型就能给出合理的配比建议而无需重新做昂贵的代理实验。六、去掉哪个零件会出问题——消融实验的验证为了搞清楚CAUSALMIX各个组件究竟有多重要研究团队做了一组拆解实验分别移除关键组件观察性能变化。第一个变体是去掉数据体质指标协变量X让模型只根据数据配比预测效果不考虑数据本身的状态。这退化成了一个类似RegMix的方法但优化目标是下游任务表现而非验证损失。在0.5B模型80万数据的设置下这个变体的综合得分为33.29分低于CAUSALMIX-A的33.94分。问题在于不考虑数据体质的模型对数据分布的变化毫无适应能力一旦数据特性有所不同性能就会下滑。第二个变体是去掉正交化处理步骤直接把协变量X和数据配比T拼接在一起用普通监督学习预测绝对效果。这个变体的综合得分为32.66分甚至低于去掉协变量X的变体。这个反直觉的结果揭示了一个深层问题如果不做正交化普通监督学习会把数据质量的影响和配比调整的影响混在一起产生方向性错误的配比建议反而比不用数据体质信息还要差。换句话说有错误的先验不如没有先验。这有力地证明了正交化在这个框架中的核心作用。七、因果模型说了什么——解读哪些数据在什么条件下有价值研究团队还用一种叫做树状解释器的可视化工具对训练好的因果模型进行了解读直观展示了不同数据领域在不同数据体质条件下的因果边际回报。其中最稳健的发现是指令遵循IF数据在几乎所有数据体质条件下都表现出强烈的正向因果效果是最可靠的通用增益来源。无论当前数据是简单还是复杂、质量高还是低增加指令遵循数据的比例几乎总能带来性能提升。知识类数据则呈现出相反的模式。在数据归一化损失高说明数据对模型来说很难预测且HES也高说明推理复杂度高的条件下增加知识类数据反而会显著拉低模型表现。因果边际回报在这些条件下是负数有时甚至达到-5分以上的量级。这印证了研究者们长期猜测但难以量化的技能冲突现象当模型需要处理高难度逻辑推理任务时大量注入事实性知识数据会干扰推理能力的形成两者争夺模型的注意力资源产生负迁移。数学、编程和安全类数据的表现则高度依赖于数据的质量状态。在写作风格评分低、HES也低的低质量数据条件下增加这些复杂任务领域的数据比例会带来负向效果——复杂任务的数据如果质量太差反而会给模型引入噪声和混乱降低整体表现。然而当写作风格评分达到中等水平、HES也适中时这些领域的数据产生了强烈的协同增益效果甚至能抵消安全类数据通常带来的性能代价。这些洞察意味着没有任何一种数据配比是普适最优的。真正的最优配比总是相对于特定数据集的特定体质状态而言的。八、工具箱里的其他选择——模型选择实验研究团队还系统性地评估了不同因果估计器和第一阶段预测模型的选择使用R分数R-loss基于Robinson正交化技术的无偏评估指标来比较它们的性能。在因果估计器方面CausalForestDML以R分数0.1683排名第一明显优于线性模型LinearDML0.1445和其他变体如CausalForestDML_Deep-0.1238。CausalForestDML的优势来自其非参数树状结构它不强加任何参数形式假设能自然捕捉多维协变量和配比空间之间的复杂交互关系也更能处理特征饱和效应和局部异质性——这些都是数据混合问题中固有的复杂性。在第一阶段预测模型方面用于估计数据体质对效果和配比的基准预测以LightGBM同时预测效果和配比的组合表现最佳R分数0.1683用时12.9秒远优于使用随机森林-0.0556、岭回归-0.1408、梯度提升-0.1686等其他组合。LightGBM的优势在于其高效的梯度提升框架能够在捕捉变量交互关系的同时避免过拟合并且计算效率较高整体运行时间在所有表现良好的配置中居中。说到底CAUSALMIX这项研究解决的是一个看似简单、实则极为棘手的工程问题给大语言模型喂数据时怎么搭配最合理它的答案不是给出一个万能配方而是建立了一套根据数据体质开具个性化处方的系统。通过借鉴经济学和医学领域的因果推断思想它把数据质量本身的影响和数据配比调整的效果拆分开来让配比优化的建议真正反映配比调整本身的价值而非被数据质量差异所掩盖。这使得因果模型能够在不重新做昂贵实验的前提下迁移到新的数据集和更大的模型上从根本上解决了现有方法对数据分布变化高度敏感的问题。对于普通人来说这项研究的直接意义或许不那么显眼但其背后的影响可能相当深远。更高效的大模型训练意味着相同的计算资源能训练出更强的模型更可迁移的配比策略意味着研究者不必每次换数据都从零开始。随着大语言模型在教育、医疗、编程辅助等领域的渗透不断加深训练效率的提升最终会转化为更好用、更便宜的AI工具落到每个人手中。有兴趣深入探索这套方法的读者可以通过arXiv编号2607.01104查阅完整的技术论文其中包含了完整的数学证明、超参数配置和所有实验的详细数据。---QAQ1CAUSALMIX和RegMix的核心区别是什么ARegMix把数据混合问题看成一个输入配比、预测效果的普通回归问题假设数据本身的质量是固定的换一批数据就要重新训练。CAUSALMIX则额外考虑了每批数据的体质复杂度、难度、质量三个指标用因果推断的方法把数据质量的影响和配比调整的效果拆分开因此能迁移到新数据和更大的模型上无需重新做代理实验。Q2双重机器学习DML在CAUSALMIX里具体做了什么ADML的作用是去混淆。它先分别用机器学习模型预测当前数据条件下效果和配比各自的基准值然后用真实值减去基准值得到两个残差再分析残差之间的关系。这样做的目的是把数据本身质量带来的效果剥离掉只看配比调整本身带来的效果避免把两者混为一谈导致配比建议出现方向性错误。Q3CAUSALMIX为什么说知识类数据在某些条件下有害A因果分析显示当训练数据的推理复杂度高HES值高且难度大归一化损失高时增加知识类数据即事实性信息的比例反而会拉低模型表现因果边际回报为明显的负值。研究者认为这印证了技能冲突现象模型同时学习复杂推理和大量事实记忆时两者会争夺有限的模型容量导致推理能力受损效果不如专注于推理数据的训练。