面壁智能开源低比特大模型训练成果 BitCPM-CANN，推理阶段释放约 6 倍显存红利

【导语面壁智能联合清华大学、OpenBMB 开源社区在清华大学鲲鹏昇腾科教创新卓越中心支持下正式发布并开源低比特大模型训练方向的最新成果 BitCPM-CANN该成果在华为昇腾上原生完成性能表现优异。】BitCPM-CANN低比特大模型训练新突破面壁智能宣布联合多方正式发布并开源低比特大模型训练方向的最新成果 BitCPM-CANN。从量化算子、训练算法到全链路框架BitCPM-CANN 均在华为昇腾上原生完成包含 0.5B、1B、3B、8B 四个模型尺寸。显存红利与能力保留率双优相比传统 BF16 精度BitCPM-CANN 在推理阶段释放约6 倍显存红利同时将模型能力保留率维持在 90%-97.2%。评测结果显示三个尺寸模型的能力保留率达到 95.7% - 97.2% 区间即使是能力保留最弱的 0.5B保留率也达到了 90.1%。这一成果对于手机产业意义重大6 倍的显存红利意味着一个 8B 参数的 BitCPM-CANN 大模型可以轻松运行在当前主流旗舰手机之上。搭建低比特训练底座面壁智能基于 MindSpeed × Megatron-LM 主干搭建了完整的低比特训练底座包含环境适配、32K 长序列支持、并行策略、融合算子等完整工程体系。从此所有面向昇腾的低比特训练工作都可建立在同一套公共基础设施之上。编辑观点BitCPM-CANN 的发布与开源是低比特大模型训练领域的重要突破其显存红利和高能力保留率为大模型在更多设备上的应用提供了可能搭建的训练底座也将推动相关领域的发展。