pyasc：用 Python 调用 CANN 的推理能力

用 C 写推理代码性能好但开发效率低。调试一个 Buffer 越界问题可能要编译运行好几轮。Python 开发快但直接调用底层 CANN API 需要封装。pyasc 是 CANN 的 Python 绑定层——把 AscendCL 的 C API 封装成 Python 可调用的接口。想快速验证一个模型在昇腾 NPU 上的推理效果用 pyasc 写几行 Python 代码就行。pyasc 是什么pyasc 不是单独的推理框架——它是 CANN Toolkit 自带的 Python 模块。安装 CANN Toolkit 后可以通过import pyasc直接使用importpyascaspa# 初始化pa.init()devicepa.set_device(0)# 加载模型modelpa.load_model(model.om)# 创建输入input_tensorpa.Tensor(data,dtypepa.float16)# 推理outputmodel.execute([input_tensor])# 拿结果resultoutput[0].to_numpy()每个pa.*调用底层调的都是 AscendCL 的 C API。pa.load_model内部调aclmdlLoadFromFilemodel.execute内部调aclmdlExecute。不新增抽象层Python 代码直接映射到 C API。环境配置安装 CANN Toolkit 后配置 Python 环境# 设置 Python 路径exportPYTHONPATH/usr/local/Ascend/ascend-toolkit/latest/python/site-packages:$PYTHONPATH# 验证python-cimport pyasc; print(pyasc.__version__)# 输出: 8.0.0.alpha001如果 import 失败检查LD_LIBRARY_PATH是否包含 CANN 的 lib64 目录——pyasc 的.so文件依赖libascendcl.so。常见问题Python 版本不兼容。CANN 8.0 的 pyasc 支持 Python 3.8-3.10。Python 3.11 需要用源码重新编译 pyasc。推理示例代码用 pyasc 做一个完整的推理链路importpyascaspaimportnumpyasnpclassModelInfer:def__init__(self,model_path):pa.init()self.devicepa.set_device(0)self.contextpa.create_context(self.device)self.modelpa.load_model(model_path)# 获取模型输入输出信息self.input_shapeself.model.input_shape(0)self.output_shapeself.model.output_shape(0)defpreprocess(self,image_path):# 用 NumPy 做预处理importcv2 imgcv2.imread(image_path)imgcv2.resize(img,(self.input_shape[2],self.input_shape[3]))imgimg.astype(np.float32)/255.0imgimg.transpose(2,0,1)# HWC → CHWimgnp.expand_dims(img,axis0)# → NCHWreturnimgdefinfer(self,input_data):# 创建 NPU Tensorinput_tensorpa.Tensor(input_data,dtypepa.float32)# 推理output_tensorsself.model.execute([input_tensor])# 转回 NumPyreturnoutput_tensors[0].to_numpy()defclose(self):self.model.unload()pa.reset_device(self.device)pa.finalize()# 使用modelModelInfer(yolov8n.om)input_datamodel.preprocess(test.jpg)outputmodel.infer(input_data)print(fOutput shape:{output.shape})model.close()pa.Tensor的构造方法接受 NumPy ndarray自动分配 Device 显存并拷贝数据。to_numpy()把结果从 Device 拷回 CPU。常见问题分析OOM 错误。每次pa.Tensor都在 NPU 显存上分配。如果不及时释放显存在连续推理中会被耗尽。pyasc 的 Tensor 在 Python 引用计数归零时自动释放但推理循环中的临时 Tensor 如果被持久引用就会累积。建议在不需要时显式del tensor或tensor.free()。Runtime 未初始化。在子进程中如多进程推理使用 pyasc 时每个子进程必须独立调用pa.init()。父进程pa.init()创建的上下文不会自动继承给子进程。设备号超出范围。pa.set_device(device_id)时如果 device_id 大于实际 NPU 卡数返回pa.ERROR_INVALID_DEVICE。建议在初始化时先调用pa.get_device_count()检查可用设备数。Tensor 数据类型不匹配。模型的 ONNX/OM 输入规格是float32而传入pa.float16数据推理结果全错。必须在创建pa.Tensor前检查模型的输入数据类型。pyasc 与 AscendCL 的对应关系pyasc API底层 AscendCL C APIpa.init()aclInitpa.set_device(0)aclrtSetDevicepa.load_model(model.om)aclmdlLoadFromFilemodel.execute([tensor])aclmdlExecuteTensor(data, dtypepa.float16)aclrtMallocaclrtMemcpytensor.to_numpy()aclrtMemcpy(D2H)每个 pyasc API 直接映射到一条 C API不经过额外的 Python 封装层。这意味着 pyasc 的性能跟 C 版本几乎没有差距——调用链是Python → C 扩展 → CANN Runtime没有额外抽象。pyasc 的多线程使用pyasc 支持多线程推理但需要注意每个线程必须管理自己的 Context。推荐的做法是每个推理线程初始化自己的 Contextdefworker(device_id):pa.init()pa.set_device(device_id)contextpa.create_context(device_id)modelpa.load_model(model.om)# 推理...pa.finalize()参考仓库pyasc Python 绑定的仓库AscendCL C API 文档