北京大学与腾讯混元联手破解AI图像生成的“两阶段诅咒“

这项由北京大学与腾讯混元联合开展的研究发表于2026年6月论文编号为arXiv:2606.32039有兴趣深入了解技术细节的读者可通过该编号查询完整论文。**研究背景一道横亘在AI图像生成领域的隐形墙**在AI生成图像这件事上几乎所有现有的技术方案都遵循一套相同的工作流程而这套流程内部藏着一个长期被忽视的根本矛盾。用厨房里的比喻来说现有方案就像是请了两位完全独立工作的厨师第一位厨师称为分词器Tokenizer负责把食材预处理好把整只鸡剁成标准尺寸的鸡块然后冻进冰箱等第一位厨师下班之后第二位厨师称为生成器Generator才出现打开冰箱用那些固定好的鸡块做菜。问题在于第一位厨师从来不知道第二位厨师擅长做什么菜、喜欢什么样的切法他只是按照自己理解的标准切块来处理食材。这个比喻对应的真实技术场景是这样的训练AI图像生成模型时研究者首先单独训练一个编码器分词器让它学会把图片压缩成一堆数字代码或者离散的图片词汇这个过程的唯一目标是让压缩后的结果尽可能还原原始图片。完成这一步之后编码器被冻结——不再学习、不再改变就像那些已经切好冻在冰箱里的鸡块。之后训练的生成模型只能对着这些固定好的代码学习如何生成新图片却完全无法反过来告诉编码器你这样切其实很难用。这种割裂造成的后果是真实存在的编码器追求的是高保真还原倾向于保留图片里丰富的细节和变化而生成模型追求的是规律性和可预测性希望面对的是结构清晰、容易学习的数据分布。这两个目标天然存在矛盾却从来没有机会协商。北京大学与腾讯混元的研究团队把这个问题看作了突破口提出了名为GEAR**G**uided **E**nd-to-end **A**uto**R**egression引导式端到端自回归的全新框架让两位厨师在同一个厨房里协同工作。---**一、为什么这个问题比想象中更难解决**也许你会问两个模型一起训练不就行了吗把图片词汇化和图片生成放在同一个训练流程里让它们互相磨合难道不是顺理成章的事实际上正是因为有一个看似微不足道的技术细节使得这件事极其困难。当前最主流的自回归AR式图像生成模型——可以把它理解成逐字写作的方式一个词一个词地生成图片——它使用的图片词汇是离散的整数索引就像字典里的词条编号。编码器处理一张图片得到一堆位置每个位置要从一个庞大的词典里找到最相近的那个词记录下它的编号。这个找最近的词的操作在数学上叫做取最大值argmax而这个操作有一个致命的特性它没有梯度。梯度是神经网络学习的信使。生成模型生成了一张不好的图这个不好的信号需要沿着计算路径一路往回传递告诉每一个环节你需要怎么调整。但当信号走到那个取最大值操作时它就像碰到了一堵墙——无法穿越无法继续往前传递给编码器。换句话说生成模型的意见永远无法到达编码器编码器无从得知自己的切块方式有多难用。有人提出过一种权宜之计叫做直通估计器Straight-Through EstimatorSTE它的思路是在梯度计算时假装那堵墙不存在强行把信号传过去。但在这项研究的实验中这个方法彻底崩溃了一旦生成模型的训练损失信号被强行传回给编码器编码器就会走捷径——既然目标是让生成结果更好预测那最简单的办法就是把所有图片都映射到少数几个词汇上这样生成模型当然很容易预测下一个词。然而代价是图片细节全部丢失还原质量急剧下降。研究者用一个量化指标gFID越低越好来衡量生成质量走这条路的结果是gFID高达104.9——这意味着生成的图片几乎毫无意义。这就是GEAR需要攻克的核心难题如何在离散的词汇化壁障两侧建立一条真实有效、不会引发崩溃的信息通道。---**二、GEAR的核心创意双轨并行各司其职**解决这个难题的关键洞察来自一个精巧的拆分思路把同一个编码结果同时读成两种形态各自承担不同的任务。依然用厨房比喻来说明第一位厨师处理完食材之后不再只是冻进冰箱了。相反他现在准备了两份食材——一份是标准切块包装好放进冰箱第二位厨师做菜时直接拿这份另一份则是模糊切块没有按照绝对精确的标准来而是保留了一些可以微调的余地专门用来让第一位厨师知道这种切法做出的菜好不好。技术层面上GEAR的做法是这样的。编码器处理完图片之后会得到一个距离矩阵描述每个位置的特征与词典里每个词汇之间的距离关系。从这个矩阵里研究者同时生成两种读取方式硬读取Hard Branch是完全精确的选出距离最近的那个词汇的编号就像真正使用时一样这一路的信号只用来训练生成模型软读取Soft Branch是用一种叫做温度加权的方式对词典里靠近的多个词汇做一个平滑的混合使得结果是连续可微的从而让梯度信号可以流通这一路的信号则被用来引导编码器。这样设计的精妙之处在于软读取路径上流通的不是生成损失预测下一个词的准确率而是另一种性质截然不同的信号——表征对齐损失REPA Loss。这个信号的来源是一个冻结的外部视觉模型DINOv2它是一个已经被证明能理解图像语义结构的参考标准。训练时系统计算生成模型中间层的特征与DINOv2提取的特征之间的相似度尽量让两者更接近。这个接近DINOv2的信号通过软读取路径流回编码器告诉它请把你的词汇映射方式调整成让我更容易学习DINOv2那样的表示形式。至于对生成模型极度有害的预测损失它只走硬读取路径永远不会流回到编码器。这就彻底断绝了编码器走捷径、词汇崩溃的诱惑。---**三、训练流程的精确设计两套参数两条更新通道**理解了核心思路之后再来看GEAR的完整训练步骤就会非常清晰。每一步训练开始时一张图片和对应的条件信息比如类别标签或文字描述同时进入系统。编码器先把图片处理成一组位置特征然后和词典比对得到距离矩阵。由此产生两套向量硬路径的词嵌入和软路径的温度加权词嵌入。这两套向量分别进入生成模型的Transformer结构硬路径走完全部层软路径只走到预设的对齐深度就截止。在这个截止层两条路径的中间特征都与DINOv2的特征计算对齐损失硬路径还额外计算预测下一个词的损失。更新时编码器只接受来自编码损失还原图片质量和软路径对齐损失的更新信号生成模型只接受来自预测损失和硬路径对齐损失的更新信号。两套参数互不干扰责任边界清晰。整个过程从一个经过预热的编码器出发这个预热阶段主要是为了补全公开模型中缺失的对抗训练判别器在此基础上进行端到端的联合微调。研究团队为这个对齐过程设置了两个关键超参数软读取的温度τ和对齐系数λ。温度越低软读取越接近硬读取梯度信号越弱温度越高软硬差距越大引导信号越强但稳定性下降。经过系统的消融实验研究团队确定了τ0.1、λ0.5作为默认配置在生成质量与重建质量之间取得最佳平衡。---**四、实验结果快了多少、好了多少**研究团队在图像生成领域的标准测试场景——ImageNet 256×256分辨率的类别条件图像生成任务——上进行了系统评估结果相当明显。最直观的数据来自训练效率对比。在不使用任何额外推理技巧的情况下衡量生成图片与真实图片相似度的核心指标gFIDGEAR在训练50万步时就已经达到了基线方法LlamaGen-REPA在500万步时才能达到的水平。换一种说法完成同样的训练目标GEAR花费的时间只有基线的十分之一。在文字到图片的生成任务上GEAR在完成同样的REPA对齐损失目标时快了11.1倍在预测损失目标上快了2.5倍。在最终生成质量上研究对三种规模的模型1.11亿参数的Base、3.43亿参数的Large、7.75亿参数的XLarge都进行了对比。以训练300个完整周期后的结果为例不使用推理引导时三种规模的gFID分别从20.16、12.70、8.20降低到16.96、8.66、6.76使用推理引导后分别从6.00、3.15、2.68降低到4.95、2.95、2.52。每一个规模、每一种设置下GEAR都优于基线。值得注意的是提升的来源被研究团队用一个精巧的实验设计完全隔离出来了在主要对比实验中两种方案使用完全相同的生成模型架构和训练计算量唯一的区别是编码器是否经历了端到端联合训练。由此可以确认所有的提升都来自编码器质量的改变而不是模型规模或训练时间的差异。这项技术的适用范围也经过了验证。研究团队在三种不同的量化方案上都测试了GEAR传统的VQVAE、频域量化LFQ和索引反向传播量化IBQ三种方案下gFID分别改善了4个、近4个和超过7个点。这说明GEAR的引导机制并不依赖某种特定的量化方式而是具有普遍适用性。在文字到图片生成任务上研究团队使用了一个包含1亿张图片的大型语料库GPIC进行验证。同样训练一个完整周期后GEAR在各阶段的评估中都稳定优于基线在最终评估时将关键指标FDD在DINOv2特征空间中的分布距离越低越好从127.9降低到115.3。---**五、深挖根源编码器到底在内部发生了什么变化**数字上的改善是表象更有意思的是GEAR的引导究竟让编码器发生了什么内部变化研究团队用两个维度来分析这个问题编码器自身的特征与DINOv2的相似度以及编码词汇的使用分布。关于相似度结果出乎意料。在扩散模型领域让编码器更接近DINOv2是被普遍认可的改进方向REPA-E、VA-VAE等工作都以此为目标让连续潜在特征变得更语义化。但GEAR的编码器在经过端到端训练之后反而在图像级别和图块级别上都变得与DINOv2更不相似了——图块级别的相似度下降尤其明显CKA相似度从0.173降到了0.107。这种下降并不意味着编码器质量变差了图片还原质量在实验中被证实保持甚至略有改善。真正的变化发生在词汇使用分布上。研究团队跟踪了整个联合微调过程中词汇表的使用熵entropy越低说明词汇分布越集中和有效词汇数量越低说明常用词汇越集中。结果显示训练开始后词汇分布迅速变得更集中在约3万步时达到最高集中度然后有所放松在约12万步后收敛到一个比初始状态更集中、熵更低的稳定状态。这种现象的含义是编码器在AR模型的引导下把词汇分配调整成了一种对自回归预测更友好的结构——同一个场景里相邻的图块更倾向于映射到相近的词汇这种局部一致性正是让预测下一个词变得更容易的关键。但与STE路径引发的崩溃不同这种集中度只是适度的结构化而不是极端退化成几个词汇包揽一切。与此相对生成模型内部的变化正好是编码器的镜像。研究团队测量了生成模型每一层隐藏状态与DINOv2特征的相似度分别从整张图片层面全局语义和单个图块层面局部细节来看。在全局语义层面GEAR和基线方法的表现几乎没有差别两者都通过显式的对齐训练达到了与DINOv2相近的全局理解。但在图块层面GEAR明显更接近DINOv2这一优势在中深层网络中持续存在。除此之外研究团队还测量了一个叫做Morans I的空间自相关指数以及图像特征的高频分量比例。GEAR的生成模型在这两个指标上都更接近DINOv2的参考值说明端到端训练赋予了生成模型更强的局部空间一致性——相邻的图块之间有更自然的关联这正是DINOv2作为一个理解真实图像的模型所具备的特质也是自回归生成模型真正需要的能力。归纳起来GEAR完成的是一种职责转移原本在扩散模型体系里是编码器自身需要变得更语义化在GEAR体系里编码器变得更可预测词汇分布更结构化语义对齐的任务则交给了生成模型来完成。两条路通向同一个目的地只是分工不同。---**六、消融实验每一个设计选择都有其理由**研究团队对GEAR的每一个设计细节都进行了独立验证。软路径对比STE的实验结果已经非常明确STE导致gFID崩溃至104.9软路径维持在10.63。去掉对抗训练损失的影响也被单独测试没有对抗训练时图片还原rFID从1.64跳升至5.86生成gFID从10.63恶化至16.35说明对抗训练对于联合训练中的编码器质量至关重要。温度参数τ的扫描显示过高的温度如0.5软路径与硬路径差异过大生成质量最好但还原质量下降过低的温度如0.01两路几乎一致引导信号太弱生成质量明显下降。0.1是两全其美的折中点。对齐系数λ的实验显示0.5是最优值。太小0.25则引导力度不足太大1.0则过度正则化生成和还原质量都受损。对齐目标的选择也经过了验证分别测试了DINOv2、DINOv3、SigLIPv2和V-JEPA2.1四种预训练视觉编码器。GEAR在所有这四种目标下都带来了显著的生成质量改善只是幅度有所不同DINOv2带来的改善最为明显成为默认选择。对于应在生成模型的第几层进行对齐测试了第6、8、10层结果显示第8层表现最佳。这与LlamaGen-REPA的发现一致——对齐深度应在模型总深度的三分之一左右。初始化实验则回答了一个实际问题GEAR必须从一个预训练的编码器开始吗答案是不是必须的但有很大帮助。从预热编码器开始训练的完整GEAR方案gFID 10.63显著优于从随机初始化开始的版本gFID 13.44但后者仍然优于使用冻结预训练编码器的基线方法gFID 14.72。最后分辨率泛化实验覆盖了256、384和512三个生成分辨率GEAR在所有分辨率下均优于基线证明这套机制不局限于某个特定的图像尺寸。---**七、局限性与未来展望诚实面对天花板**研究团队在论文中坦诚地讨论了GEAR当前的局限性这种诚实态度值得关注。最根本的瓶颈来自于离散量化本身。GEAR的图片还原rFID是1.64而同期最强的端到端扩散模型REPA-E的连续VAE还原rFID是0.28——足足相差了近6倍。还原质量的上限直接制约了生成质量的上限GEAR最终的gFID 2.52使用推理引导与REPA-E的1.12之间的差距相当程度上源于此。这个差距背后有一个更深的架构性原因在自回归模型里压缩率和序列长度是绑定在一起的。目前的主流做法是把256×256的图片压缩成256个词汇下采样16倍生成模型就需要逐步生成256个词汇这是计算量的来源。扩散模型则不同它可以用8倍下采样的编码器保留更多细节得到1024个潜在位置然后再通过2×2的像素分组让变换器实际处理的序列长度仍然是256。自回归模型做不到这种解耦——每增加一个词汇就增加一步生成就增加计算量。研究团队认为这个瓶颈是可以被部分克服的方向是借鉴扩散模型的解耦思路比如在自回归模型侧引入图块预测或多词汇并行预测在不显著增加序列长度的前提下使用保真度更高的编码器。另一方面研究团队也指出了自回归离散生成的独特优势它与大语言模型共享相同的技术生态可以直接继承各种人类偏好对齐技术如PPO、DPO、GRPO等这在多模态统一模型的场景下尤为珍贵。GEAR作为一种让离散自回归图像生成更高效、更强大的基础方法被研究团队视为通往统一多模态生成系统的一块重要拼图。---说到底GEAR解决的是一个长期被当作不可能任务的问题让图像的词汇化过程和图像的生成过程在同一张桌子上坐下来通过一种不会引发崩溃的信息桥梁相互协商。这个桥梁——软路径上的表征对齐信号——精巧地绕开了离散索引的不可微障碍同时严格阻挡了会导致词汇崩溃的预测损失信号。结果是两位厨师终于学会了协同工作编码器把食材切成更适合第二位厨师发挥的形态第二位厨师则在更友好的食材基础上做出了更好的菜。对于关注AI图像生成技术进展的读者而言这项工作传递的一个更广泛的启示是模型能力的边界并不总是需要靠堆参数或堆数据来拓展重新审视训练流程本身的内在矛盾有时候能以更小的代价实现更大的跨越。有兴趣深入了解的读者可以通过arXiv:2606.32039查阅完整论文或在GitHub上搜索Tencent-Hunyuan/GEAR获取开源代码。---**QA**Q1GEAR框架为什么不直接用直通估计器STE来连接编码器和生成器A直通估计器的原理是在反向传播时假装不可微的操作不存在强行把梯度传过去。但在GEAR的实验中这导致了灾难性的结果一旦生成模型的预测损失信号能够到达编码器编码器就会走捷径把所有图片都压缩到极少数几个词汇上让预测变容易但图片还原质量完全崩溃gFID指标高达104.9几乎意味着生成的图片毫无意义。GEAR的解决方案是建立一条独立的软路径传递表征对齐信号而非预测损失信号从根本上消除了这个崩溃诱因。Q2GEAR端到端训练之后编码器的图片还原质量会变差吗A不会反而略有改善。研究团队的消融实验显示经过端到端联合训练的编码器在rFID、PSNR、SSIM等还原质量指标上都持平甚至优于联合训练前的基线编码器。这是因为GEAR只让表征对齐信号流回编码器严格阻断了会破坏还原质量的预测损失信号所以词汇表不会崩溃细节保留能力得以维持。Q3GEAR只适用于某种特定类型的图像编码方式吗A不是。研究团队在三种不同的量化方案上都验证了GEAR的效果传统向量量化VQVAE、频域量化LFQ和索引反向传播量化IBQ三种方案都获得了明显的生成质量提升gFID分别改善了约4个、约4个和约7个点。这说明GEAR的核心机制与具体量化方式无关只要存在离散索引和自回归生成器的组合GEAR的双路径引导框架就可以适用。