TileCopyGemvAiv【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass代码位置[TOC]功能说明TileCopyGemvAiv为 AIVAI Vector芯片提供 GEMV 搬运子组件的聚合模板。数据通路为 GM↔UB↔GM引用 GEMV 专有的搬运组件。适用范围AtlasA2不直接执行算子以类型成员方式暴露子组件引用模板原型template class ArchTag, class AType, class XType, class YType, class BiasType void struct TileCopyGemvAiv;模板参数说明ArchTag架构标签ATypeA 矩阵类型GemmTypeElementA, RowMajor/ColumnMajorXTypeX 向量类型GemmTypeElementX, VectorLayoutYTypeY 向量类型GemmTypeElementY, VectorLayoutBiasType偏置类型默认void成员类型定义成员类型对应子组件说明VecCopyGmToUbGemv::Tile::VecCopyGmToUB向量 X: GM→UBVecCopyUbToGmGemv::Tile::VecCopyUBToGm向量 Y: UB→GM可选 atomic addMatrixCopyGmToUbGemv::Tile::MatrixCopyGmToUB矩阵 A: GM→UB调用示例#include catlass/gemv/tile/tile_copy.hpp using namespace Catlass::Gemv::Tile; using ElementA half; using ElementX half; using ElementY half; using AType Gemm::GemmTypeElementA, layout::RowMajor; using XType Gemm::GemmTypeElementX, layout::VectorLayout; using YType Gemm::GemmTypeElementY, layout::VectorLayout; using Copy TileCopyGemvAivArch::AtlasA2, AType, XType, YType; // 子组件: // typename Copy::VecCopyGmToUb // typename Copy::VecCopyUbToGm // typename Copy::MatrixCopyGmToUb【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
CANN/catlass GEMV AIV搬运模板
发布时间:2026/5/30 9:26:14
TileCopyGemvAiv【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass代码位置[TOC]功能说明TileCopyGemvAiv为 AIVAI Vector芯片提供 GEMV 搬运子组件的聚合模板。数据通路为 GM↔UB↔GM引用 GEMV 专有的搬运组件。适用范围AtlasA2不直接执行算子以类型成员方式暴露子组件引用模板原型template class ArchTag, class AType, class XType, class YType, class BiasType void struct TileCopyGemvAiv;模板参数说明ArchTag架构标签ATypeA 矩阵类型GemmTypeElementA, RowMajor/ColumnMajorXTypeX 向量类型GemmTypeElementX, VectorLayoutYTypeY 向量类型GemmTypeElementY, VectorLayoutBiasType偏置类型默认void成员类型定义成员类型对应子组件说明VecCopyGmToUbGemv::Tile::VecCopyGmToUB向量 X: GM→UBVecCopyUbToGmGemv::Tile::VecCopyUBToGm向量 Y: UB→GM可选 atomic addMatrixCopyGmToUbGemv::Tile::MatrixCopyGmToUB矩阵 A: GM→UB调用示例#include catlass/gemv/tile/tile_copy.hpp using namespace Catlass::Gemv::Tile; using ElementA half; using ElementX half; using ElementY half; using AType Gemm::GemmTypeElementA, layout::RowMajor; using XType Gemm::GemmTypeElementX, layout::VectorLayout; using YType Gemm::GemmTypeElementY, layout::VectorLayout; using Copy TileCopyGemvAivArch::AtlasA2, AType, XType, YType; // 子组件: // typename Copy::VecCopyGmToUb // typename Copy::VecCopyUbToGm // typename Copy::MatrixCopyGmToUb【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考