为什么 Transformer 可以被随时替换，但大模型的引擎却换不得？

几乎所有讲大模型的材料,第一件事都是画那张 Transformer 结构图:多头注意力、残差、LayerNorm、FFN,箭头绕来绕去。图画完,读者以为自己抓住了大模型的核心。这是个误导。把注意力换成状态空间模型(Mamba),或者换成线性注意力(RWKV),同样的文本喂进去,模型照样学会语言、照样能对话、照样有涌现。真正在 GPT、LLaMA、Mamba、RWKV 之间从不改变的,不是那张结构图,是训练它们的那一行目标:预测序列里的下一个 token。架构是承重结构,可以替换;目标函数是引擎,换不得。这篇文章想说清的就是这件事——大模型为什么 work、预训练和微调各自在动什么、自回归解码的代价从哪来,顺着"目标函数"这条线,比顺着结构图看得清楚得多。传统 NLP 撞的是标注墙,大模型翻墙的方式是把标签变免费要理解大模型和传统 NLP 的差别在哪,先看它们监督信号的来源,而不是模型结构。传统 NLP 是一套按任务切分的监督学习流水线。做命名实体识别,你需要一份标了实体边界的语料;做情感分类,你需要一份标了正负的评论;做句法分析,你需要一棵棵人工标的语法树。每个任务一份标注、一套特征工程、一个模型。这套路子的天花板不在算法,在标注成本——它是数据量的线性函数。业界最大的人工标注集,量级也就在百万条上下,再往上,人力和预算就撑不住了。你的模型再聪明,见过的监督样本数被死死焊在标注规模上。自回归下一词预测把这堵墙直接绕过去了。它不需要任何人工标签:给定一段文本的前