HCCL故障检测配置指南

HCCL_DFS_CONFIG【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl功能描述HCCL提供了多种故障检测功能的开关设置包括建链故障探测时间配置、集群心跳监测开关以及进程卡死检测开关等。这些检测功能开启后能够在业务出现异常时快速定位并显示故障信息有助于问题及时排查处理。该环境变量支持以下配置项connection_fault_detection_time建链故障探测时间。HCCL会在建链超时时启动建链失败根节点定位能力并将失败根节点信息传播。整个过程耗时为“connection_fault_detection_time”参数取值 10s的根节点信息传播时间。“connection_fault_detection_time”参数支持的取值0[20, 7200]。单位s默认为20。该参数配置为“0”时代表关闭建链故障探测功能即建链失败时无额外等待时间建链进程立即退出。cluster_heartbeat集群心跳监测开关用于通信操作执行超时的情况下扩散故障信息并在运行日志中记录故障根节点信息。该参数支持两种取值on开启心跳监测功能、off关闭心跳监测功能默认值为on。说明关闭集群心跳监测开关后通信操作执行超时的异常情况无法探测集群故障扩散能力丢失且根节点故障信息不会记录到运行日志中。stuck_detection进程卡死检测开关。该参数支持两种取值on开启进程卡死检测能力、off关闭进程卡死检测能力默认值为on。对于通信性能非常敏感的场景可通过此参数关闭进程卡死检测能力但需要注意关闭进程卡死检测能力后不会再主动探测上报业务异常卡死故障。inconsistent_check算子下发不一致检测开关。该参数支持两种取值on开启进程算子下发不一致检测能力、off关闭进程算子下发不一致检测能力默认值为off。通过此参数可以开启进程算子下发不一致检测能力但会产生一定的性能劣化。需要注意的是默认情况下关闭此开关后不再主动检测并记录算子下发不一致的问题。说明此功能不支持检测HcclBatchSendRecv算子和图模式场景且开启后会生成数据缓存占用HOST侧内存。task_monitor_interval算子的展开模式为AI CPU的场景下开启算子task执行耗时时间监控。“task_monitor_interval”参数的取值范围为[0, 7200000]单位ms默认为0。取值为“0”时关闭算子task执行耗时监控能力。取值大于“0”时开启算子task执行耗时监控能力。当单个task执行耗时大于配置值时则会打印该task信息打印位置为“$HOME/ascend/log/run/device-*/”日志关键词为“StreamTaskMonitor”。打印后会重新进行计时即若单个task执行耗时为配置值的多倍则会有多轮次打印信息。说明该功能当前仅支持Atlas A3 训练系列产品/Atlas A3 推理系列产品仅在通信算子展开模式为AI_CPU时生效。该功能为异常时维测功能开启后会对业务执行性能产生影响因此不建议业务正常运行时开启。当该配置取值小于100ms时无法保证功能的完备性同时可能对业务执行性能、功能造成较大影响甚至可能导致业务执行失败。该配置取值较小时存在“$HOME/ascend/log/run/device-*/”目录下日志刷屏的风险。该功能可作为task exception的辅助维测补充在此场景下建议配置数值略小于“1/2 * HCCL_EXEC_TIMEOUT环境变量取值”。[!NOTE]说明 本环境变量提供的检测功能仅用于辅助定位集群故障点位置在某些复杂场景下可能不是集群业务失败的根因位置。请基于探测事件的生成时间、被检测节点的具体报错进一步确认故障根节点位置。配置示例export HCCL_DFS_CONFIGconnection_fault_detection_time:30,cluster_heartbeat:on,stuck_detection:on,inconsistent_check:off,task_monitor_interval:0使用约束无支持的型号Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品针对Atlas A2 训练系列产品/Atlas A2 推理系列产品仅支持Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框。【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考