NVIDIA推出“三模式“AI语言大脑：一个模型同时兼顾速度与准确

这项由英伟达NVIDIA领导联合佐治亚理工学院、香港大学、芝加哥大学和麻省理工学院研究人员共同完成的研究以预印本形式于2026年7月7日发布在arXiv平台论文编号为arXiv:2607.05722v1。感兴趣的读者可以通过该编号查询完整论文。**当AI说话要一个字一个字蹦出来**你有没有注意到当你跟AI聊天时屏幕上的字是一个一个打出来的就像有人在实时敲键盘这种现象背后隐藏着一个深层的技术瓶颈现有的主流大语言模型也就是支撑ChatGPT、Qwen等助手的核心技术在生成文字时只能严格地一个字一个字地往下生成每生成一个字都必须等上一个字完全确定下来才能开始下一个。这种方式就像一个打字员必须先把第一个字完整地打出来才能去想第二个字。这种逐字生成的方式在用户量少的时候还好但当服务器同时面对成千上万个用户的时候GPU图形处理器可以理解为AI的计算大脑就会严重闲置——它明明有能力同时处理很多任务却被迫排队等待浪费了大量的算力资源。为了解决这个问题研究人员这些年一直在探索一种叫做扩散模型Diffusion Model的新方法。这种方法的思路是与其一字一字地生成不如先扔出一堆噪音占位符然后一次性把它们都变成有意义的文字——一次可以生成好几十个字。这就好比一个雕塑家不是一笔一笔地画素描而是先捏出一个大致的泥人形状再一次性精雕细琢所有的细节。然而现实很骨感。现有的扩散模型在生成质量上一直不如传统的逐字生成模型——它们就像一个雕塑家速度快了但雕出来的作品没那么精致。更棘手的是即便与另一种加速方法多令牌预测MTP相比现有的扩散模型在实际运行效率上也没有表现出明显优势。就在这个关键节点英伟达的研究团队推出了 **Nemotron-Labs-Diffusion**一个将逐字生成、扩散生成和一种全新的自猜自验模式融为一体的三模式语言模型。这个模型试图回答三个业界一直争论不休的核心问题逐字模型和扩散模型究竟是竞争关系还是互补关系扩散模型能否在加速上超越MTP方法扩散模型的长期潜力到底有多大---一、同一个大脑三种思维方式要理解Nemotron-Labs-Diffusion的核心设计不妨把它比作一位多才多艺的翻译官。这位翻译官拥有三种工作模式第一种是正常翻译模式就像普通翻译一样一个词一个词地翻译速度中规中矩但质量有保障第二种是批量翻译模式把整段话先打上草稿再一次性修改完善速度很快第三种是草稿审核模式先用批量方式打一份草稿再用精细的逐词方式审核速度和质量双兼顾。这三种模式都由同一个人同一个模型来完成不需要请三个不同的翻译官。**第一种模式经典的逐字生成**这就是传统大语言模型的工作方式。模型从左到右一个字接一个字地生成每生成一个字都要结合之前所有已经生成的内容来决定下一个字是什么。这种方式的优势是生成质量高、逻辑连贯因为每一步都在充分利用前面的所有信息。在用户量大、服务器同时服务很多人的高并发场景下这种模式依然是最稳定的选择。**第二种模式并行的扩散生成**扩散生成模式借鉴了图像生成领域的技术逻辑。具体来说这个模型采用了一种叫做分块扩散的方式——把要生成的文字分成若干个块每次处理一个块。在处理当前块时模型会同时预测这个块里所有位置的文字而不是一个一个来。这就好比你在拼一幅拼图不是一块一块地找而是先把某一个区域的所有碎片一次性归位。在生成过程中模型从一堆占位符用特殊的遮罩标记代替开始逐步把这些占位符替换成真实的文字。每一轮替换模型会根据自信程度优先确定最有把握的位置不断迭代直到整个块完全生成完毕。生成完一个块后已经确定的内容会被保存下来用于辅助生成下一个块。为了让扩散模式更高效研究团队还专门训练了一个轻量级的采样器——一个只有480万参数的小型神经网络相比于主模型的80亿参数这只是约0.06%的额外开销。这个采样器的工作是预测当前这个位置的推测结果是否正确就像一个质检员帮助模型更聪明地决定哪些位置的结果可以直接采纳哪些需要再想想。实验证明加了这个采样器之后在相同准确率下模型能多生成30%的字即1.3倍的生成效率或者在相同效率下准确率提升10.6个百分点。**第三种模式聪明的自猜自验**这是这篇论文最有创意的贡献之一。自猜自验Self-Speculation的思路是先让模型用扩散方式猜出一批候选文字然后再让同一个模型用逐字方式验这些候选文字对不对。具体流程是这样的以已经确定的文字为基础在后面加上若干个占位符让扩散模式一次性预测出所有占位符的值得到一批草稿文字。然后用逐字模式从左到右重新过一遍这批草稿文字在每个位置预测如果按逐字方式生成这里应该是什么字。如果逐字模式的预测结果和草稿一致这个字就被接受一旦出现不一致就从那个位置开始停止接受同时把逐字模式在第一个不一致位置的预测结果作为一个新的正确字纳入结果。这样一来每轮操作至少确认1个字最多确认草稿长度1个字。为了让草稿的质量更好从而让更多草稿字被接受研究团队还用了一种叫做LoRA低秩适配一种轻量级微调技术只需训练极少参数就能改善模型特定行为的技术专门针对扩散生成路径做了额外训练让草稿的分布更贴近逐字验证的结果。加了这个改进之后在三个不同规模的模型30亿、80亿、140亿参数上每轮生成的有效字数分别提升了14.4%、32.5%和27.6%。除了这种线性自猜自验先猜后验、两次前向传播研究团队还设计了二次自猜自验Quadratic Self-Speculation能在一次前向传播中同时完成猜测和验证进一步减少计算开销。不过由于目前底层算子支持还不够优化实际运行效率略逊于线性版本因此默认使用线性版本。---二、让两种学习方式相互促进而非互相拆台理解Nemotron-Labs-Diffusion的训练方式可以用这样一个比喻培养一个既能写诗又能做数学的全才学生。传统做法是让他专注于一门——要么只学文要么只学理。这个研究团队的做法是同时教他两种技能而且发现这两种技能不但不会互相干扰反而会相互促进。**联合训练的数学逻辑**在技术层面模型在训练时同时接受两种作业一种是传统的预测下一个字作业AR损失另一种是从被遮住的文字中恢复原文作业扩散损失。最终的优化目标是两个损失的加权组合总损失 AR损失 0.3 × 扩散损失。这里的系数0.3是经过仔细调参得出的。研究团队在训练中发现扩散损失的数值通常比AR损失大很多如果简单地把两者等权叠加扩散损失会压制AR损失导致模型逐字生成能力下降。将系数设定为0.3让两个损失的量级大致对齐能同时让两种能力都达到最优。更有趣的是在0.1到0.5的系数范围内无论提高还是降低系数两种能力都会同步下降——它们在0.3这个点上共同达到了最优说明两个目标并不是此消彼长的竞争关系而是真正的互补关系。**巧妙的注意力机制设计**在训练时模型的输入是同一段文字的两个版本一个是干净版原文一个是加了噪声的版本部分文字被遮掩。模型的注意力机制需要在这两个版本之间建立联系而注意力的连接方式有严格规定加噪声的文字块内部可以双向互相看因为扩散模式需要同时预测整个块加噪声的文字可以看干净版中它前面的内容作为上下文干净版内部则只能从左往右单向看严格因果关系用于计算AR损失避免未来信息泄露。这个精心设计的注意力模式让一次前向传播就能同时计算两种损失大大提升了训练效率。**两阶段训练策略**为了让模型能更好地学会两种技能研究团队采用了两阶段训练。第一阶段完全用逐字方式训练在海量数据上打好语言理解的基础形成强大的从左到右的语言先验知识。第二阶段才开启联合训练在第一阶段的基础上引入扩散损失。消融实验控制变量的对比实验清楚地展示了这个策略的价值仅靠两阶段训练这一个改进模型的扩散生成准确率就提升了5.74个百分点是所有单项改进中贡献第二大的。研究团队还发现了一个值得关注的细节在训练扩散目标时由于每个样本被遮掩的字数是随机的不同样本对训练损失的贡献权重天然不均等。如果简单地对每个样本取平均那些被遮掩字数很少但每个字损失很高的样本会对训练产生不成比例的影响造成训练不稳定。研究团队的解决方案是全局损失平均不按样本平均而是把批次中所有字的损失放在一起平均让每个字的权重相等。这个看似简单的调整使模型准确率提升了2.12个百分点。---三、扩散模式的理论上限到底有多高在验证了模型的实际性能之后研究团队做了一件非常有价值的事他们计算了扩散生成模式的理论速度上限Speed-of-LightSOL也就是说如果有一个完美的采样策略扩散生成最多能有多快**如何找到理论上限**要计算这个上限首先需要定义什么是正确答案。研究团队的做法是用一种串行去噪过程每次只确定一个最有把握的位置从头到尾运行整个块得到的最终结果就是基准答案。这个过程需要N次前向传播N等于块的长度但它代表了模型在没有任何并行压力下能够收敛到的最佳输出。有了基准答案就可以问如果用一个理想的并行策略需要多少次前向传播才能得到同样的结果研究团队设计了一种叫做递归动态压缩的方法来近似回答这个问题每次前向传播后找出预测结果与基准答案一致的所有位置然后用一种聪明的搜索策略找到最大的安全子集——即一次性确认这些位置不会影响其余位置的最终预测结果——并把它们全部确认。通过这种方式每次前向传播可以确认多个位置大大减少所需的总轮数。**令人振奋的数字**在对713个来自不同领域的真实问题进行测试后结果相当惊人。当块大小设为32时平均每次前向传播可以正确确认7.60个位置也就是每次并行处理能替代串行方式的7.60步。在代码生成和多语言内容上这个数字甚至超过了10倍。这说明扩散模式本身具有很强的内在并行性——很多位置的内容其实并不相互依赖完全可以同时确定。相比之下目前实际采用的基于置信度的采样策略选当前最有把握的位置来确认只能达到约3倍的每次前向传播确认字数与理论上限的7.60倍相差甚远。这意味着当前的采样方法只开发出了扩散并行潜力的约40%还有巨大的改进空间等待探索。**与自猜自验的对比**把扩散模式的SOL和线性自猜自验做对比结果更加耐人寻味。在接受率每个接受步骤确认多少字这个指标上SOL达到7.60线性自猜自验达到6.82差距只有约10%——说明用AR验证来筛选扩散草稿是一种接近理论上限的有效方法。但在真实每次前向传播确认字数这个更实际的指标上差距就大了SOL达到6.02线性自猜自验只有3.41差距高达76.5%。这个差距来自两个原因首先线性自猜自验每个接受周期需要两次前向传播一次扩散、一次AR验证而SOL每次前向传播就能直接确认多个位置其次线性自猜自验只能接受从头开始连续一致的前缀一旦中间某个位置不一致就必须停止抛弃后面即使正确的位置。这两个局限性合在一起造成了实际效率与理论上限之间的76.5%差距也指明了未来改进扩散采样器的方向。---四、完整的模型家族与实战表现基于上述训练框架和推理算法英伟达研究团队交付了一个完整的模型家族覆盖30亿、80亿、140亿三个参数规模每个规模都提供基础版Base、指令微调版Instruct以及视觉语言版VLM三种变体。**与顶尖对手的正面比拼**在指令模型评测中研究团队把Nemotron-Labs-Diffusion-8B与当前最强的开源逐字模型Qwen3-8B、Qwen2.5-7B、Ministral3-8B以及最强的开源扩散模型LLaDA-8B、Dream-7B、SDAR-8B进行了全面对比涵盖科学问答GPQA、指令遵循IFEval、知识评测MMLU、代码生成HumanEval、MBPP、LiveCodeBench-CPP以及数学推理Math500、GSM8K、AIME24、AIME25共10个基准测试。结果显示在逐字模式下Nemotron-Labs-Diffusion-8B的平均准确率为63.61%比Qwen3-8B高出0.86个百分点同时超越了所有其他对比模型。这说明联合训练不但没有损害逐字生成能力反而略有提升。在扩散模式下模型以2.57倍的每次前向传播生成字数实现了63.18%的平均准确率——依然比Qwen3-8B的62.75%高出0.43个百分点同时比最强的扩散对手SDAR-8B高出整整9.09个百分点。采用LoRA增强的线性自猜自验模式模型在保持62.81%平均准确率的同时将每次前向传播生成字数提升到了5.99倍是Qwen3-8B的近6倍并行效率。**规模化的一致性**把评测范围扩展到30亿和140亿参数结论非常一致。在30亿规模上模型在线性自猜自验模式下以4.36倍每次前向传播生成字数超越Qwen3-4B 1.77个百分点。在140亿规模上以5.96倍每次前向传播生成字数超越Qwen3-14B 1.19个百分点。更有趣的规律是模型规模越大并行潜力越强——线性自猜自验的每次前向传播生成字数从30亿参数的4.36倍增长到140亿参数的5.96倍。研究团队认为这是因为更大的模型具有更强的预见未来的能力草稿的质量更高从而让更多草稿字能通过AR验证。**基础模型同样优秀**在基础模型未经指令微调评测中与扩散领域的标杆LLaDA-8B和Dream-7B相比Nemotron-Labs-Diffusion-8B在扩散模式下的平均准确率分别高出17.21%和6.83%。逐字模式也以71.89%的平均准确率超越了Qwen3-8B71.58%和Ministral3-8B66.75%。**延伸到视觉理解**为了证明这个框架的通用性研究团队还把Nemotron-Labs-Diffusion扩展到了图文理解任务。具体做法是在80亿参数的指令模型基础上接入一个视觉编码器和一个两层的多模态投影器负责把图像特征翻译成语言模型能理解的格式然后在多模态指令数据上继续联合训练。一个工程上的小创新值得一提原本的双流注意力设计训练时同时处理加噪声和干净两个版本的输入如果把图像词元也包含在加噪声版本中会浪费大量计算资源因为图像词元永远不会被遮掩。研究团队的解决方案是非对称双流设计在加噪声版本中只保留文字部分去掉图像词元而在干净版本中保留完整的图文内容。这样做既不损失视觉上下文又显著减少了计算量。在视觉语言基准测试AI2D图表理解、ChartQA图表问答、DocVQA文档理解、MMMU多学科理解、MathVista数学视觉推理等上Nemotron-Labs-Diffusion-VLM-8B在逐字模式下比最强的扩散视觉语言对手LLaDA-V-8B高出1.3个百分点在线性自猜自验模式下对于超过200字的长回答每次前向传播生成字数达到7.45倍且准确率几乎不降。---五、在真实硬件上的实际速度表现数字游戏终究要落地。研究团队在三种不同定位的英伟达GPU上进行了实际吞吐量测试并与当前业界最流行的加速方案Qwen3-8B-Eagle3Eagle3是一种基于额外小型草稿头的多令牌预测方法进行了对比。在最高端的GB200 GPU上使用SGLang推理框架在单用户批次大小为1的场景下Nemotron-Labs-Diffusion-8B的线性自猜自验模式以851 token/秒的速度运行是同模型逐字模式256 token/秒的3.32倍是Qwen3-8B-Eagle3354 token/秒的2.4倍。使用专门优化过的计算核心线性自猜自验甚至能达到1015 token/秒折合3.97倍加速。研究团队还估算了该平台上的SOL理论上限吞吐量为1471 token/秒意味着仍有约45%的提升空间有待挖掘。在面向创意专业人士的RTX Pro 6000上线性自猜自验在FP8精度下达到277 token/秒逐字模式为80 token/秒加速3.46倍Eagle3为137 token/秒。若采用INT4量化线性自猜自验甚至能跑到525 token/秒加速6.56倍远超Eagle3的211 token/秒。在针对边缘计算的DGX Spark上线性自猜自验在FP8精度下达到77.5 token/秒逐字模式24.7 token/秒加速3.14倍Eagle3为43.2 token/秒。在多用户并发场景同时服务多人下随着并发量提高逐字模式逐渐追上甚至超越自猜自验模式——这符合预期因为高并发时GPU已经跑满不再有资源来利用多令牌并行。Nemotron-Labs-Diffusion的价值在于它在低并发场景下的加速效果显著优于Eagle3在高并发场景下又能无缝切换为逐字模式成为一个真正的全场景通用方案。从对各类任务的接受长度每次接受周期确认的有效字数来看Nemotron-Labs-Diffusion-8B在不加LoRA和加LoRA两种配置下平均接受长度分别为5.46和6.82对比Eagle3的2.75和多令牌预测的4.24在所有11个测试类别中均大幅领先。在模型最擅长的代码、数学、推理和多语言四个类别中差距进一步扩大到6.75和8.69Nemotron-Labs-Diffusion对比2.81Eagle3。---说到底Nemotron-Labs-Diffusion做了一件看起来简单但背后逻辑深刻的事它证明了逐字生成和并行扩散这两种AI生成方式并不是非此即彼的选择而是可以在同一个模型里共存、互补各自在最擅长的场合发挥作用。对于普通用户来说这意味着未来使用AI助手时不管是独自深夜提问还是在公司服务器上与数百人同时使用AI都有望给出更快、更流畅的回应。对于开发者来说这意味着一个模型可以覆盖以往需要多个模型才能兼顾的部署场景大幅降低维护成本。研究团队也坦诚地指出了这项工作的局限和未来方向当前扩散模式的实际效率与理论上限之间还有76.5%的差距如何设计更聪明的采样策略来逼近这个上限是摆在所有研究者面前的重要挑战。此外如何让AR验证突破只能接受连续前缀的限制、接受非连续位置的正确草稿以及如何在段落级别实现更高维度的并行生成也是非常值得探索的方向。如果你对这项研究的技术细节感兴趣可以通过arXiv编号 **arXiv:2607.05722v1** 查阅完整论文模型权重也已开源可在Hugging Face平台搜索Nemotron-Labs-Diffusion找到完整的模型家族。---QAQ1Nemotron-Labs-Diffusion的三种模式分别适合什么场景A逐字模式适合服务器同时面对大量用户的高并发场景保证稳定质量扩散模式通过一次性并行生成多个字来提高速度适合对时延敏感的中等并发场景可以灵活调整准确率和速度的平衡自猜自验模式则专为单用户或低并发场景设计用扩散方式打草稿、用逐字方式验证在响应速度上实现最高加速在GB200 GPU上单用户吞吐量是纯逐字模式的3到4倍。Q2自猜自验比Eagle3快多少为什么能更快A在英伟达GB200 GPU上单用户场景Nemotron-Labs-Diffusion的线性自猜自验比Qwen3-8B-Eagle3快约2.4倍在RTX Pro 6000上快约2.3倍。原因主要有两点一是扩散草稿的平均接受长度约6.82字/轮远高于Eagle3约2.75字/轮意味着每次验证能确认更多字二是扩散草稿是并行生成的不像Eagle3那样需要用小模型逐个递归预测GPU利用率更高。Q3Nemotron-Labs-Diffusion联合训练会不会让逐字生成能力变差A不会。研究团队的对比实验显示在同等训练数据量下加入扩散训练目标权重系数0.3之后逐字生成的平均准确率反而略有提升——基础模型提升0.14个百分点指令模型提升0.43个百分点。研究者认为这是因为扩散训练让模型学会了更好地预见未来从而也增强了逐字预测时的规划能力。