CANN/GE DataFlow Python快速入门

快速入门【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge整体开发流程环境准备支持的产品型号Atlas A2 训练系列产品/Atlas A2 推理系列产品和Atlas A3 训练系列产品/Atlas A3 推理系列产品。当前仅支持Python3.11。安装方法请参考Python官网https://www.python.org/。已经安装好开发套件包Ascend-cann-toolkit详细操作请参见《CANN 软件安装》。[!NOTE]说明 AI Server场景下安装节点应采用容器/虚拟机隔离容器/虚拟机的生命周期与业务进程/租户保持一致。容器/虚拟机生命周期结束时要清理持久化数据避免对下一个业务进程/租户的影响。必选环境变量安装CANN软件后使用CANN运行用户进行编译、运行时需要以CANN运行用户登录环境执行source ${INSTALL_DIR}/set_env.sh命令设置环境变量。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。export RESOURCE_CONFIG_PATHnuma_config.json //用于设置配置异构资源描述信息文件的存储路径。[!NOTE]说明 numa_config.json请参考numa_config.json配置。上述环境变量只在当前窗口生效用户可以将上述命令写入~/.bashrc文件使其永久生效方法如下以安装用户在任意目录下执行vi ~/.bashrc在该文件最后添加上述内容。执行**:wq!**命令保存文件并退出。执行source ~/.bashrc使环境变量生效。完整样例参考|Sample名称|代码地址|场景说明| |--|--|--| |sample_multiple_model|获取样例|多模型串接下沉执行。使用FuncProcessPoint和GraphProcessPoint构造DataFlow图通过将GraphProcessPoint执行的onnx、pb模型下沉到device减少host和device之间控制面、数据面交互提高执行性能。| |sample_pytorch|获取样例|sample_pytorchDataFlow结合PyTorch做模型在线推理。将原来预处理、模型推理、后处理的串行执行流程改造成能够异步流水执行的FlowGraph从而提升推理整体的吞吐量。| |sample_npu_model|获取样例|针对sample_pytorch的优化增加了对PyTorch模型节点的数据下沉或者模型下沉。|【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考