CANN/HCCL系统约束与限制

系统约束与限制【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl公共约束集合通信不支持应用于昇腾虚拟化实例场景。昇腾虚拟化实例是指通过资源虚拟化的方式将物理机或虚拟机配置的NPU切分成多个vNPU虚拟NPU实例挂载到目标环境使用虚拟化管理方式能够实现统一不同规格资源的分配和回收处理满足多用户反复申请/释放的资源操作请求。容器场景下部署集合通信相关业务时各服务器仅支持单容器多进程部署不支持多容器部署。Ascend 950PR/Ascend 950DT在AX第三方网卡间通信场景中若服务器采用x86架构操作系统内核版本需要高于5.18。如不符合此要求则需要手工安装haveged补熵工具并启动其服务。Atlas A3 训练系列产品/Atlas A3 推理系列产品若您的驱动固件是25.0.RC1或更高版本支持单卡多进程的业务场景即支持多个业务进程同时共用一个NPU。需要注意多进程会对资源开销、通信性能有一定的影响若同一个NPU上进程过多可能会由于资源不足造成业务运行失败。若您的驱动固件不满足版本要求会使用单进程运行。若通信算子的展开模式为AI_CPU默认值单卡进程并发数量不建议超过6个若通信算子的展开模式为AIV不建议单卡多进程并发执行多个进程之间建议串行执行。请参考以上建议配置否则存在任务死锁的风险。通信算子的展开模式可通过环境变量“HCCL_OP_EXPANSION_MODE”设置。建议每个超节点中的Server数量一致每个Server中的AI处理器数量一致若不一致会造成性能劣化。图模式Ascend IR或者图捕获aclgraph场景当通信算法采用默认的AI CPU模式时单卡上的并发图数量不能超过6个否则可能会因AI CPU核被占满而导致通信阻塞。Atlas A2 训练系列产品/Atlas A2 推理系列产品若您的驱动固件是25.0.RC1或更高版本支持单卡多进程的业务场景即支持多个业务进程同时共用一个NPU。若网络中存在MC²通算融合算子计算和通信融合的算子例如AllGatherMatmul、MatmulReduceScatter、AlltoAllAllGatherBatchMatMul等则不支持单卡多进程的业务场景。需要注意多进程会对资源开销、通信性能有一定的影响若同一个NPU上进程过多可能会由于资源不足造成业务运行失败。若您的驱动固件不满足版本要求会使用单进程运行。若通信算子的展开模式为HOST默认值单卡进程并发数量不建议超过8个若通信算子的展开模式为AIV不建议单卡多进程并发执行多个进程之间建议串行执行。请参考以上建议配置否则存在任务死锁的风险。Atlas A2 训练系列产品/Atlas A2 推理系列产品的算子展开模式可通过环境变量“HCCL_OP_EXPANSION_MODE”设置。单Server场景对参与集合通信的AI处理器数量无限制Server集群场景要求参与集合通信的AI处理器数量为1~8*nn为参与训练的Server个数。建议每个Server中参与集合通信的AI处理器数量保持一致若不一致会造成性能劣化。Atlas 训练系列产品不支持单卡多进程的业务场景即不支持多个业务进程同时共用一个NPU。单Server场景下要求实际参与集合通信的AI处理器数目只能为1/2/4/8且0-3卡和4-7卡各为一个组网使用2张卡或4张卡训练时不支持跨组网创建设备集群Server集群场景要求参与集合通信的AI处理器数目只能为1*n、2*n、4*n、8*nn为参与训练的Server个数且n为2的指数倍情况下集群性能最好建议用户优先采用此种方式进行集群组网。Atlas 300I Duo 推理卡不支持单卡多进程的业务场景即不支持多个业务进程同时共用一个NPU。仅支持单Server场景每个集合通信操作支持的最大NPU数量详见具体API。通信域初始化需要在其他任何涉及Device内存申请的操作之前否则可能因P2P内存不足导致初始化失败。【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考