2024年从CNCF沙箱到孵化项目，HAMi异构AI计算中间件提升GPU利用率

【导语2024年8月加入CNCF沙箱的HAMi于7月2日正式晋升为CNCF Incubating项目。它是面向Kubernetes的开源异构算力虚拟化与调度中间件能解决GPU利用率低的问题已被数百家组织采用。】HAMi晋升CNCF孵化项目2024年8月HAMi作为Sandbox沙箱项目加入CNCF7月2日正式晋升为CNCF Incubating孵化项目且CNCF技术监督委员会TOC全票赞成通过本次孵化投票。异构AI计算中间件的使命HAMi于2021年7月12日首次开源全称是Heterogeneous AI Computing Middleware异构AI计算中间件是面向Kubernetes的开源异构算力虚拟化与调度中间件。其核心目标是让多个任务安全共享一张GPU且互不干扰。突破Kubernetes GPU调度瓶颈在HAMi出现前Kubernetes对GPU的调度是“一个Pod独占一张卡”的粗粒度模型导致昂贵的加速器常因任务独占而大量闲置GPU利用率长期偏低。而HAMi通过容器级的硬隔离能力将GPU的显存与算力精细切分给不同工作负载实现多租户、多任务共享同一张加速器且对已有工作负载零改动。广泛的硬件覆盖与应用目前HAMi已被数百家组织采用覆盖NVIDIA、华为昇腾、寒武纪等十余种加速器是云原生GPU虚拟化领域覆盖硬件最广的开源方案之一。编辑观点HAMi的发展为解决GPU利用率问题提供了有效方案其晋升孵化项目有望加速技术推广推动云原生GPU虚拟化领域发展。