NVIDIA 开源 Audex 统一音频 - 文本大模型，多任务表现达行业领先水平

【导语近日NVIDIA 研究团队开源名为 Nemotron-Labs-Audex-30B-A3B简称 Audex的统一音频 - 文本大语言模型。它设计简洁高效训练数据海量在多任务中表现出色。】简洁架构实现多模态深度融合Audex 基于纯文本 MoE混合专家模型架构构建采用单一的 Transformer 解码器。这种设计实现了文本与量化音频 token 的统一处理让音频输入能平滑投影到文本嵌入空间还确保与现有 LLM 基础设施无缝兼容达成真正的深度融合。海量数据铸就出色性能研究团队为训练 Audex 整理了海量数据其中包含 1574 亿音频 token 和 3205 亿文本 token。通过多阶段的监督训练、纯文本 Cascade RL强化学习以及多域在策略知识蒸馏使得 Audex 在各项指标上表现优异。多任务领先且保留核心能力Audex 在音频理解、语音识别、翻译以及音频生成等任务中达到了行业领先水平。同时它几乎完美保留了原版 LLM 在推理、对齐、知识储备及长文本处理方面的核心能力性能衰退微乎其微。编辑观点Audex 的开源为音频 - 文本处理领域带来新突破其架构和训练方式值得借鉴有望推动多模态大模型的进一步发展。