CANN/GE：MatMul+Add融合Pass示例

样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能描述本样例以MatMulAdd融合为GEMM的融合pass为例介绍PatternMatcherConfig功能的使用 提供在线推理与atc工具离线编译模型两种验证方式pass使用eager style api和融合接口实现。目录结构├── src │ ├──fuse_matmul_add_pass.cpp // pass实现文件 ├── CMakeLists.txt // 编译脚本 ├── data | ├──es_gen_air.py // 导出air | ├──es_forward_1.py // 使用eager style api构图调用ge api做在线推理pass成功执行 | ├──es_forward_2.py // 在线推理EnableConstValueMatch拦截生效pass被拦截 | ├──es_forward_3.py // 在线推理EnableIrAttrMatch拦截生效 pass被拦截 |—— gen_es_api | |——CMakeLists.txt // 生成eager style api的编译脚本环境要求编译器GCC 7.3.x使用python及其依赖库版本python3.9 、pytorch2.1已完成相关环境准备。实现步骤定义类FuseMatMulAndAddPass继承PatternFusionPass。重写构造函数explicit MatmulAddFusionPass() : atternFusionPass(PatternMatcherConfigBuilder() .EnableConstValueMatch() .EnableIrAttrMatch().Build()){}重写基类PatternFusionPass中的2个函数Patterns定义匹配模板用于在整图中获取与该模板相同的拓扑。Replacement定义替换部分。注册FuseMatMulAndAddPass为自定义融合pass执行阶段为BeforeInferShape。程序编译假设CANN软件包的安装目录为INSTALL_PATH例如/home/HwHiAiUser/Ascend/。配置环境变量。运行软件包中设置环境变量脚本命令如下source ${ASCEND_PATH}/set_env.sh${ASCEND_PATH}为CANN软件包安装目录下的cann路径。请替换相关软件包的实际安装路径例如${INSTALL_PATH}/cann。根据实际情况修改CMakeLists.txt文件中的如下信息。ASCEND_PATH可以设置默认的软件包路径如果通过set_env.sh设置了$ASCEND_HOME_PATH无需修改。PASS_SO_DIR可以设置自定义融合pass动态库安装目录名默认为pass_so_dir。target_include_directories需要包含的头文件对于本示例无需修改。如果是用户自行开发的代码当需要添加头文件时在示例下方直接增加行即可注意不要删除原有项目。如果网络中有自定义算子请增加自定义算子的原型定义头文件。target_link_libraries需要链接的库对于本示例无需修改。如果是用户自行开发的代码当需要添加链接库时在示例下方直接增加行即可注意不要删除原有项目。禁止链接软件包中的其他so否则后续升级可能会导致兼容性问题。执行如下命令 生成eager style api依次执行:mkdir build cd build cmake ..执行后在build目录下产生es_all_build目录内含es构图api的头文件及源码执行如下命令编译自定义pass so并将编译后的动态库文件libfuse_matmul_add_for_matcher_config_sample_pass.so拷贝到自定义融合pass目录下其中“xxx”为用户自定义目录。 可以在make后增加可选参数-j$(nproc)用于并行执行构建任务$(nproc)动态获取CPU核心数。make -j$(nproc) fuse_matmul_add_for_matcher_config_sample_pass make install程序运行配置环境变量(如已执行跳过)。运行软件包中设置环境变量脚本命令如下source ${ASCEND_PATH}/set_env.sh${ASCEND_PATH}请替换相关软件包的实际安装路径。设置环境变量dump出编译过程中的模型图export DUMP_GE_GRAPH1安装es_all.whlpip install --force-reinstall --upgrade --target ${ASCEND_PATH}/python/site-packages/ ${BUILD_PATH}/es_output/whl/es_all-*****.whl${BUILD_PATH}请替换为build目录的实际路径。设置环境变量添加es_all.so的路径export LD_LIBRARY_PATH${BUILD_PATH}/es_output/lib64:${LD_LIBRARY_PATH}使用ATC离线推理。进入data目录执行.py文件导出air文件中使用了 es 的 python 接口来构图python es_gen_air.py执行结束后在data目录下生成.air格式的模型文件名称为graph.air。执行ATC工具命令(关于ATC工具的详细说明请前往昇腾文档搜索文档“ATC离线模型编译工具”)soc_version请根据实际环境修改atc --framework1 --model./graph.air --soc_versionxxx --output./model --input_shapeinput_0:2,3;input_1:3,2运行成功后日志中出现如下打印Define pattern for MatMulAddFusionPass in matcher config sample Define replacement for MatMulAddFusionPass in matcher config sample在线推理进入data目录执行.py文件进行在线推理在线推理请确保已安装torch_npu插件执行es_forward_1.pypython es_forward_1.py对于es_forward_1.py日志中出现如下打印Define pattern for MatMulAddFusionPass in matcher config sample Define replacement for MatMulAddFusionPass in matcher config sample执行es_forward_2.py与es_forward_3.pypython es_forward_2.py python es_forward_3.py对于es_forward_2.py和es_forward_3.py日志中出现如下打印Define pattern for MatMulAddFusionPass in matcher config sample查看运行结果执行完成后目录下生成一系列.pdtxt文件。 对比以下dump图ge_onnx_xxxxx_PreRunBegin.pdtxt执行前dump图ge_onnx_xxxxx_RunCustomPassBeforeInferShape.pdtxt执行InferShape前的自定义pass dump图可以发现模型已按预期优化即MatMul与Add被GEMM替换。若未获得预期结果可设置如下环境变量如使用atc命令还需添加参数--logdebug让日志打印到屏幕来定位原因。export ASCEND_SLOG_PRINT_TO_STDOUT1 #日志打印到屏幕 export ASCEND_GLOBAL_LOG_LEVEL0 #日志级别为debug级别【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考