CANN/TensorFlow DumpConfig构造函数

DumpConfig构造函数【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflow功能说明DumpConfig类的构造函数用于配置dump功能。函数原型class DumpConfig(): def __init__(self, enable_dumpFalse, dump_pathNone, dump_stepNone, dump_modeoutput, enable_dump_debugFalse, dump_debug_modeall, dump_datatensor, dump_layerNone)参数说明enable_dump输入是否开启Data Dump功能。True开启Data Dump功能从dump_path读取Dump文件保存路径。False默认值关闭Data Dump功能。[!NOTE]说明不能同时开启Data Dump与溢出数据采集功能即不同时将enable_dump和enable_dump_debug参数配置为“True”。若“enable_dump/enable_dump_debug二选一”参数配置为“True”同时“enable_exception_dump”配置为了“1”即开启普通ExceptionDump。此时针对动态shape网络仅“enable_exception_dump”生效针对静态shape网络“enable_exception_dump”与“enable_dump/enable_dump_debug二选一”都生效。dump_path输入Dump文件保存路径。enable_dump或enable_dump_debug为True时该参数必须配置。该参数指定的目录需要在启动训练的环境上容器或Host侧提前创建且确保安装时配置的运行用户具有读写权限支持配置绝对路径或相对路径相对执行命令行时的当前路径。绝对路径配置以“/”开头例如/home/test/output。相对路径配置直接以目录名开始例如output。dump_step输入指定采集哪些迭代的Data Dump数据。多个迭代用“|”分割例如0|5|10也可以用-指定迭代范围例如0|3-5|10。若不配置该参数表示采集所有迭代的dump数据。dump_mode输入Data Dump模式用于指定dump算子输入还是输出数据。取值如下input仅dump算子输入数据。output仅dump算子输出数据默认为output。alldump算子输入和输出数据。[!NOTE]说明 配置为all时由于部分算子在执行过程中会修改输入数据例如集合通信类算子HcomAllGather、HcomAllReduce等因此系统在进行dump时会在算子执行前dump算子输入在算子执行后dump算子输出这样针对同一个算子算子输入、输出的dump数据是分开落盘会出现多个dump文件在解析dump文件后用户可通过文件内容判断是输入还是输出。enable_dump_debug输入溢出检测模式取值如下aicore_overflowAI Core算子溢出检测检测在算子输入数据正常的情况下输出是否不正常的极大值如float16下65500,38400,51200这些值。一旦检测出这类问题需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现。atomic_overflowAtomic Add溢出检测模式在AI Core计算完由UB搬运到OUT时产生的Atomic Add溢出问题。all同时进行AI Core算子溢出检测和Atomic Add溢出检测。默认值为“all”。[!NOTE]说明 针对Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品仅支持配置为默认值“all”。dump_debug_mode输入溢出检测模式取值如下aicore_overflowAI Core算子溢出检测检测在算子输入数据正常的情况下输出是否不正常的极大值如float16下65500,38400,51200这些值。一旦检测出这类问题需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现。atomic_overflowAtomic Add溢出检测模式在AI Core计算完由UB搬运到OUT时产生的Atomic Add溢出问题。all同时进行AI Core算子溢出检测和Atomic Add溢出检测。默认值为“all”。[!NOTE]说明 针对Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品仅支持配置为默认值“all”。dump_data输入指定算子dump内容类型取值tensor: dump算子数据默认为tensor。stats: dump算子统计数据结果文件为csv格式。大规模训练场景下通常dump数据量太大并且耗时长可以先dump所有算子的统计数据根据统计数据识别可能异常的算子然后再指定dump异常算子的input或output数据。dump_layer输入指定需要dump的算子。取值为算子名多个算子名之间使用空格分隔。若不配置此字段默认dump全部算子。若指定的算子其输入涉及data算子会同时将data算子信息dump出来。返回值返回DumpConfig类对象作为NPURunConfig的参数传入。约束说明enable_dump和enable_dump_debug不能同时开启。调用示例from npu_bridge.npu_init import * ... dump_config DumpConfig(enable_dumpTrue, dump_path/home/test/output, dump_step0|5|10, dump_modeall) session_configtf.ConfigProto(allow_soft_placementTrue) config NPURunConfig(dump_configdump_config, session_configsession_config)【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考