CANN NPU配置异常补救

异常补救【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflowhccl_timeout设备间任务执行的同步等待时间单位为s。当默认时长不满足需求时例如出现通信失败的错误可通过此配置项延长超时时间。针对Ascend 950PR/Ascend 950DT单位为s取值范围为[0, 2147483647]默认值为1836当配置为0时代表永不超时。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品单位为s取值范围为[0, 2147483647]默认值为1836当配置为0时代表永不超时。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品单位为s取值范围为[0, 2147483647]默认值为1836当配置为0时代表永不超时。针对Atlas 训练系列产品单位为s取值范围为(0, 17340]默认值为1836。需要注意针对Atlas 训练系列产品系统实际设置的超时时间 参数取值先整除“68”然后再乘以“68”单位s。如果参数取值小于68则默认按照68s进行处理。例如假设“hccl_timeout”配置为600则系统实际设置的超时时间为600整除68乘以68 8*68 544s。针对Atlas 300I Duo 推理卡单位为s取值范围为(0, 17340]默认值为1836。需要注意针对Atlas 300I Duo 推理卡系统实际设置的超时时间 参数取值先整除“68”然后再乘以“68”单位s。如果参数取值小于68则默认按照68s进行处理。例如假设“hccl_timeout”配置为600则系统实际设置的超时时间为600整除68乘以68 8*68 544s。[!NOTE]说明 参数“hccl_timeout”的优先级大于环境变量“HCCL_EXEC_TIMEOUT”若同时配置了参数“hccl_timeout”与环境变量“HCCL_EXEC_TIMEOUT”以参数“hccl_timeout”的配置值为准。关于环境变量“HCCL_EXEC_TIMEOUT”的详细说明可参见《环境变量参考》。配置示例config NPURunConfig(hccl_timeout1800)op_wait_timeout算子等待超时时间单位为s默认值为120s。配置示例config NPURunConfig(op_wait_timeout120)op_execute_timeout算子执行超时时间单位为s。配置示例config NPURunConfig(op_execute_timeout90)stream_sync_timeout图执行时stream同步等待超时时间超过配置时间时报同步失败。单位ms默认值-1表示无等待时间出现同步失败不报错。说明集群场景下此配置的值即stream同步等待超时时间需要大于集合通信超时时间即“hccl_timeout”配置项的值或者环境变量“HCCL_EXEC_TIMEOUT”的值。配置示例config NPURunConfig(stream_sync_timeout60000)event_sync_timeout图执行时event同步等待超时时间超过配置时间时报同步失败。单位ms默认值-1表示无等待时间出现同步失败不报错。配置示例config NPURunConfig(event_sync_timeout60000)【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考