【LLM】AR/Diffusion

基于自回归Autoregressive, AR和基于扩散Diffusion的语言模型在底层逻辑、数学建模和生成范式上有着根本的区别。我们可以从技术原理、优缺点以及产业界的实际选择来拆解这个问题。一、 核心生成范式的区别1. 自回归 LLM (Autoregressive)核心逻辑“从左到右单向预测”。数学表达p(x)∏t1Tp(xt∣xt)p(x) \prod_{t1}^{T} p(x_t | x_{t})p(x)∏t1T​p(xt​∣xt​)。模型根据已经生成的历史 Token序列xtx_{t}xt​预测下一个 Tokenxtx_txt​的概率分布。生成过程这是一个串行的离散过程。生成一个词后将其拼接到输入序列中再预测下一个词。2. 扩散 LLM (Diffusion)核心逻辑“全局去噪由粗到细”。数学表达通过正向过程将数据逐渐破坏为纯噪声q(xt∣xt−1)q(x_t | x_{t-1})q(xt​∣xt−1​)再训练一个逆向网络pθ(xt−1∣xt)p_\theta(x_{t-1} | x_t)pθ​(xt−1​∣xt​)来逐步去噪恢复数据。生成过程这是一个并行的迭代过程。模型一开始面对的是与目标文本等长或可变长度的纯噪声序列在多个时间步Timesteps内全局且同时地对所有位置的 Token 向量进行细化和去噪最终“显影”出完整的句子。二、 优缺点对比自回归方法的优缺点优点极其契合语言的内在逻辑人类说话和写作本身就是一个从左到右、高度依赖局部因果关系的离散序列过程。强大的 In-context Learning 能力自回归模型极其擅长处理上下文的条件概率这使得它在 Few-shot 甚至 Zero-shot 的推理任务上表现卓越。计算效率与生态护城河虽然生成是串行的但利用 KV Cache 和 FlashAttention 等底层优化推理速度和显存管理已经达到了极高的工业级效率。缺点错误累积Exposure Bias训练时是 Teacher Forcing每一步给的都是绝对正确的历史但推理时用的是自己生成的历史。一旦前面生成了一个错词错误会向后传递。缺乏全局规划Myopic生成第一个词时模型无法“修改”或“回退”这导致它在需要严格全局字数限制或特定排版格式的任务上有时会显得捉襟见肘。扩散方法的优缺点优点全局上下文与双向注意力去噪过程是并行的每个 Token 都可以看到所有其他 Token 的状态天然具有全局规划能力可以轻易实现“文本填空”或受控生成。极强的可控性Controllability扩散模型在生成过程中可以非常方便地加入 Classifier-free Guidance (CFG) 或其他能量函数精准控制生成文本的属性如情感、风格、句法结构。缺点离散空间的鸿沟这是扩散模型在自然语言领域最致命的弱点。文本是高度离散的Discrete将离散的 Token 映射到连续的 Embedding 空间进行加噪去噪再在最后一步通过 Rounding 或查表找回离散 Token极其容易产生语义断层和坍缩。推理速度慢尽管生成是并行的但需要经历多次完整的去噪迭代如 50-100 步 Forward Pass总耗时往往远超自回归的一次性串行输出。三、 为什么现在主流都是自回归方法尽管扩散模型以及 Flow Matching 等技术在连续变量领域如 3D 动作生成、高精度图像、音频表现出了惊艳的统治力但在文本领域自回归依然是绝对的主流。原因可以归结为以下三点1. 离散数据的本质属性在连续空间中向坐标点或像素添加高斯噪声在数学上是非常自然和优雅的。但在离散词表中“苹果”加上一点高斯噪声变成什么很难定义。虽然学术界提出了 Discrete Diffusion如基于离散转移矩阵的掩码生成模型或者 Continuous Diffusion for Text如 Diffusion-LM但在极大规模数据下这种非自然的映射导致优化难度急剧上升效果始终无法匹敌简单粗暴的 Next-token Prediction。2. 确定的 Scaling Laws自回归模型的交叉熵损失Cross-Entropy Loss展现出了极其优美和可预测的 Scaling Laws。整个工业界可以非常确信地通过堆算力和数据来获得智能涌现。而文本扩散模型在扩大参数和数据规模时去噪轨迹的稳定性和收敛性依然是一个巨大的工程盲盒。3. 多模态VLM/VLA的演进趋势随着行业向视觉-语言大模型VLM和视觉-语言-动作模型VLA演进自回归引擎不仅没有被替代反而成为了“核心大脑”。当前的通用解法是一切皆可自回归。我们利用 VQ-VAE 等技术将连续的图像、视频或动作信号强行离散化为 Token然后全部喂给强大的自回归 Transformer 主干网络进行高级的逻辑推理和统筹规划。在实际的复杂工业系统中两者甚至在走向融合自回归模型负责离散逻辑与高层语义的生成而扩散模型作为 Decoder 的一部分负责接收自回归的条件Condition进而去渲染出连续的视觉图像或精细的物理动作。这两种方法的推理速度对比非常有意思而且与生成文本的长度有着决定性的关系。简而言之短文本时自回归更快长文本或超长文本时扩散模型在理论上或在特定并行硬件下具有超越自回归的潜力。我们可以从它们的时间复杂度和计算模式来拆解原因一、 时间复杂度对比假设我们需要生成长度为NNN的文本特性自回归模型 (AR)扩散模型 (Diffusion)计算模式串行步步为营并行全局显影迭代次数串行步数必须是NNN步(每个 Token 一步)固定TTT步(通常为 20-50 步与NNN无关)单步时间复杂度O(N)O(N)O(N)(随着历史变长注意力计算变慢)O(N2)O(N^2)O(N2)或O(N)O(N)O(N)(每一步都要全序列注意力)总体时间复杂度O(N2)O(N^2)O(N2)(通过 KV Cache 可优化到每步常数)O(T×N2)O(T \times N^2)O(T×N2)二、 推理速度与文本长度的函数关系1. 生成短文本时如N30N 30N30个 Token自回归更快。原因如果只需要生成 20 个字自回归模型只需要串行循环 20 次。而扩散模型不管文本多短为了保证文本质量和去噪的平滑性通常都需要进行固定的TTT步比如 50 步全局去噪。在这类场景下扩散模型的开销明显更大。2. 生成中等长度文本时如N≈50∼200N \approx 50 \sim 200N≈50∼200个 Token双方进入胶着期但自回归在工程上依然占优。原因随着长度增加自回归的循环次数达到了 100-200 次。虽然扩散模型依然只需要 50 步但扩散模型每一步都是对整个长度NNN进行双向 Attention 计算没有因果掩码无法像自回归那样完美利用 KV Cache 降低单步开销。因此扩散模型单步的计算量FLOPs远大于自回归的单步计算量。3. 生成超长文本时如N1000N 1000N1000甚至上万个 Token扩散模型或非自回归方法在理论上更快。原因自回归致命的弱点在于NNN次串行依赖。如果生成 2000 个 TokenGPU 必须在硬件上等待 2000 次上下文的串行交接这会导致硬件的并行算力Tensor Cores产生严重的饥饿GPU 利用率极低。相反扩散模型此时依然只需要迭代TTT步比如 30-50 步。虽然由于长度增加单步的 Self-Attention 矩阵变大但它是完全并行的可以瞬间吃满整个 GPU 的多核算力。在支持超大吞吐的硬件上扩散模型的生成时间几乎不随长度NNN的增加而线性飙升它能打破自回归的“速度墙”。三、 总结与现状为什么在实际体验中我们总觉得自回归很快因为工业界对自回归进行了堪称榨干硬件的工程优化。比如流式传输Streaming自回归是每吐出一个词就能立刻让用户看到流式交互虽然总生成时间长但用户的“首字延迟TTFT”极低体感很流畅而扩散模型在完成最后几步去噪之前整个序列都是处于语义模糊的“噪声状态”无法做到真正的流式输出用户必须坐在屏幕前死等TTT步迭代彻底结束才能一口气看到完整的文本。这也是为什么在追求极致响应的文本交互中自回归依然是绝对的主流。