CANN/ GGasc-devkit Matmul初始化

Init【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Tiling参数传入栈地址的接口Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持Tiling参数传入GM地址的接口Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持功能说明Init主要用于对Matmul对象中的Tiling数据进行初始化根据Tiling参数进行资源划分Tiling参数的具体介绍请参考Matmul Tiling侧接口。开发者可以先通过REGIST_MATMUL_OBJ不传入Tiling参数对单个Matmul对象进行初始化后续通过Init接口单独传入Tiling参数对Matmul对象中的Tiling数据进行调整。比如Tiling参数可变的场景下可以通过多次调用Init来重新设置Tiling参数。不需要Tiling变更的场景下推荐使用REGIST_MATMUL_OBJ传入Tiling参数进行初始化。函数原型Tiling参数传入栈地址__aicore__ inline void Init(const TCubeTiling* __restrict cubeTiling, TPipe* tpipe nullptr)Tiling参数传入GM地址__aicore__ inline void Init(const __gm__ TCubeTiling* gmCubeTiling, TPipe* tpipe nullptr)参数说明表1Tiling参数传入栈地址接口参数说明参数名输入/输出描述cubeTiling输入Matmul Tiling参数TCubeTiling结构体定义请参见表1 TCubeTiling结构说明。Tiling参数可以通过host侧GetTiling接口获取并传递到kernel侧使用。在kernel侧调用GET_TILING_DATA实现将Tiling参数搬运到AI Core内的栈空间中本接口传入Tiling参数中TCubeTiling结构体的栈地址。tpipe输入Tpipe对象。表2Tiling参数传入GM地址接口参数说明参数名输入/输出描述gmCubeTiling输入Matmul Tiling参数该参数指向gm上的一块内存地址其中的数据类型是TCubeTiling结构体TCubeTiling结构体定义请参见表1 TCubeTiling结构说明。Tiling参数可以通过host侧GetTiling接口获取并传递到kernel侧使用。在kernel侧调用GET_TILING_DATA_PTR_WITH_STRUCT获取gm上Tiling参数的指针本接口传入Tiling参数中TCubeTiling结构体的GM地址。tpipe输入Tpipe对象。返回值说明无约束说明Tiling参数传入栈地址的接口无Tiling参数传入GM地址的接口仅支持Matmul Tiling参数的部分常量化场景。不支持CPU域调试。调用示例Tiling参数传入栈地址GET_TILING_DATA(tilingData, tiling); // ... REGIST_MATMUL_OBJ(pipe, GetSysWorkSpacePtr(), mm); mm.Init((tiling.cubeTilingData));Tiling参数传入GM地址纯Cube模式#define ASCENDC_CUBE_ONLY GET_TILING_DATA_PTR_WITH_STRUCT(MatmulCustomTilingData, tilingDataPtr, tiling); KERNEL_TASK_TYPE_DEFAULT(KERNEL_TYPE_AIC_ONLY); // ... REGIST_MATMUL_OBJ(pipe, GetSysWorkSpacePtr(), mm); mm.Init((tilingDataPtr-cubeTilingData));MIX模式GET_TILING_DATA_PTR_WITH_STRUCT(MatmulCustomTilingData, tilingDataPtr, tiling); KERNEL_TASK_TYPE_DEFAULT(KERNEL_TYPE_MIX_AIC_1_2); // ... // MIX模式下只调用REGIST_MATMUL_OBJ接口传入Tiling参数的GM地址不需调用Init接口 REGIST_MATMUL_OBJ(pipe, GetSysWorkSpacePtr(), mm, (tilingDataPtr-cubeTilingData));【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考