Encoder-Decoder or Decoder-Only? Revisiting Encoder-Decoder Large Language Model

RedLLM 论文总结与核心部分翻译一、文章主要内容本文聚焦大语言模型（LLM）架构选择的核心问题——编码器-解码器（encoder-decoder）与仅解码器（decoder-only）架构的优劣对比，从模型缩放（scaling）视角填补了现有研究的空白。研究背景：近年来LLM领域呈现向仅解码器架构（如LLaMA、Gemma）倾斜的趋势，但这一转变缺乏从缩放角度的严谨对比分析，编码器-解码器架构的潜力可能被忽视。模型构建：提出RedLLM（重新审视编码器-解码器LLM），融合仅解码器模型的最新技术（如旋转位置编码、RMSNorm等），采用前缀语言建模（prefix LM）进行预训练，并与基于因果语言建模（causal LM）的仅解码器模型（DecLLM）展开对比。实验设计：在150M至8B参数的不同规模下，基于RedPajama V1（1.6T tokens）预训练和FLAN指令微调，从预训练性能、微调效果、推理效率、上下文长度外推能力等维度进行全面评估。核心发现：预训练阶段：DecLLM更具计算最优性，零样本/少样本性能领先；RedLLM缩放指数与DecLLM相当，但预训练零样本表现较弱。微调后：RedLLM在各类下游任务上达到甚至超越DecLLM的性能，且推理效率显著更优。其他优势：RedLLM具备更强的上下文长度外推能力，编码器的双