CANN/ops-transformer ACLNN接口菜单

Transformer类接口【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformerTransformer类aclnn接口列表aclnnAllGatherAddaclnnAllGatherMatmulaclnnAllGatherMatmulV2aclnnAlltoAllAllGatherBatchMatMulaclnnAlltoAllMatmulaclnnAlltoAllMatmulV2aclnnAlltoAllQuantMatmulaclnnAlltoAllQuantMatmulV2aclnnAlltoAllvGroupedMatMulaclnnAlltoAllvGroupedMatMulV2aclnnAlltoAllvQuantGroupedMatMulaclnnAlltoAllvQuantGroupedMatMulV2aclnnApplyRotaryPosEmbaclnnApplyRotaryPosEmbV2aclnnAttentionToFFNaclnnAttentionUpdateaclnnAttentionWorkerCombineaclnnBSASelectBlockMaskaclnnBatchMatMulReduceScatterAlltoAllaclnnBlockSparseAttentionaclnnBlockSparseAttentionGradaclnnBlockSparseAttentionV2aclnnCausalConv1dFnaclnnCausalConv1dUpdateaclnnChunkGatedDeltaRuleaclnnCompressoraclnnDenseLightningIndexerGradKLLossaclnnDenseLightningIndexerSoftmaxLseaclnnDequantRopeQuantKvcacheaclnnDistributeBarrieraclnnDistributeBarrierV2aclnnFFNaclnnFFNToAttentionaclnnFFNV2aclnnFFNV3aclnnFfnWorkerBatchingaclnnFlashAttentionScoreaclnnFlashAttentionScoreGradaclnnFlashAttentionScoreGradV2aclnnFlashAttentionScoreGradV3aclnnFlashAttentionScoreGradV4aclnnFlashAttentionScoreV2aclnnFlashAttentionScoreV3aclnnFlashAttentionScoreV4aclnnFlashAttentionUnpaddingScoreGradaclnnFlashAttentionUnpaddingScoreGradV2aclnnFlashAttentionUnpaddingScoreGradV3aclnnFlashAttentionUnpaddingScoreGradV4aclnnFlashAttentionUnpaddingScoreGradV5aclnnFlashAttentionVarLenScoreaclnnFlashAttentionVarLenScoreV2aclnnFlashAttentionVarLenScoreV3aclnnFlashAttentionVarLenScoreV4aclnnFlashAttentionVarLenScoreV5aclnnFusedCausalConv1daclnnFusedFloydAttentionaclnnFusedFloydAttentionGradaclnnFusedInferAttentionScoreaclnnFusedInferAttentionScoreV2aclnnFusedInferAttentionScoreV3aclnnFusedInferAttentionScoreV4aclnnFusedInferAttentionScoreV5aclnnGatherPaKvCacheaclnnGroupedMatMulAllReduceaclnnGroupedMatMulAlltoAllvaclnnGroupedMatMulAlltoAllvV2aclnnGroupedMatmulaclnnGroupedMatmulActivationQuantWeightNzaclnnGroupedMatmulAddaclnnGroupedMatmulAddV2aclnnGroupedMatmulFinalizeRoutingaclnnGroupedMatmulFinalizeRoutingV2aclnnGroupedMatmulFinalizeRoutingV3aclnnGroupedMatmulFinalizeRoutingWeightNzaclnnGroupedMatmulFinalizeRoutingWeightNzV2aclnnGroupedMatmulSwigluQuantaclnnGroupedMatmulSwigluQuantV2aclnnGroupedMatmulSwigluQuantWeightNZaclnnGroupedMatmulSwigluQuantWeightNzV2aclnnGroupedMatmulV2aclnnGroupedMatmulV3aclnnGroupedMatmulV4aclnnGroupedMatmulV5aclnnGroupedMatmulWeightNzaclnnIncreFlashAttentionaclnnIncreFlashAttentionV2aclnnIncreFlashAttentionV3aclnnIncreFlashAttentionV4aclnnIndexerQuantCacheaclnnInplaceAttentionWorkerScheduleraclnnInplaceFfnWorkerScheduleraclnnInplaceFusedCausalConv1daclnnInplaceMatmulAllReduceAddRmsNormaclnnInplacePartialRotaryMulaclnnInplacePartialRotaryMulGradaclnnInplaceQuantMatmulAllReduceAddRmsNormaclnnInplaceWeightQuantMatmulAllReduceAddRmsNormaclnnInterleaveRopeaclnnKvCompressEpilogaclnnKvRmsNormRopeCacheaclnnKvRmsNormRopeCacheV2aclnnLightningIndexeraclnnLightningIndexerGradaclnnLightningIndexerV2aclnnLightningIndexerV2MetadataaclnnMaskedCausalConv1daclnnMaskedCausalConv1dBackwardaclnnMatmulAllReduceaclnnMatmulAllReduceAddRmsNormaclnnMatmulAllReduceV2aclnnMatmulAllReduceV3aclnnMatmulAlltoAllaclnnMatmulAlltoAllV2aclnnMatmulReduceScatteraclnnMatmulReduceScatterV2aclnnMhcPostaclnnMhcPostBackwardaclnnMhcPreaclnnMhcPreBackwardaclnnMhcPreSinkhornaclnnMhcPreSinkhornBackwardaclnnMhcSinkhornaclnnMhcSinkhornBackwardaclnnMixedQuantSparseFlashMlaaclnnMixedQuantSparseFlashMlaMetadataaclnnMlaPreprocessaclnnMlaPreprocessV2aclnnMlaPrologaclnnMlaPrologV2WeightNzaclnnMlaPrologV3WeightNzaclnnMoeComputeExpertTokensaclnnMoeDistributeCombineaclnnMoeDistributeCombineAddRmsNormaclnnMoeDistributeCombineAddRmsNormV2aclnnMoeDistributeCombineSetupaclnnMoeDistributeCombineTeardownaclnnMoeDistributeCombineV2aclnnMoeDistributeCombineV3aclnnMoeDistributeCombineV4aclnnMoeDistributeDispatchaclnnMoeDistributeDispatchSetupaclnnMoeDistributeDispatchTeardownaclnnMoeDistributeDispatchV2aclnnMoeDistributeDispatchV3aclnnMoeDistributeDispatchV4aclnnMoeFinalizeRoutingaclnnMoeFinalizeRoutingV2aclnnMoeFinalizeRoutingV2GradaclnnMoeFinalizeRoutingV3aclnnMoeFinalizeRoutingV4aclnnMoeFusedTopkaclnnMoeGatingTopKaclnnMoeGatingTopKBackwardaclnnMoeGatingTopKSoftmaxaclnnMoeGatingTopKSoftmaxV2aclnnMoeGatingTopKV2aclnnMoeInitRoutingaclnnMoeInitRoutingQuantaclnnMoeInitRoutingQuantV2aclnnMoeInitRoutingV2aclnnMoeInitRoutingV2GradaclnnMoeInitRoutingV3aclnnMoeTokenPermuteaclnnMoeTokenPermuteGradaclnnMoeTokenPermuteV2aclnnMoeTokenPermuteWithEpaclnnMoeTokenPermuteWithEpGradaclnnMoeTokenPermuteWithRoutingMapaclnnMoeTokenPermuteWithRoutingMapGradaclnnMoeTokenUnpermuteaclnnMoeTokenUnpermuteGradaclnnMoeTokenUnpermuteWithEpaclnnMoeTokenUnpermuteWithEpGradaclnnMoeTokenUnpermuteWithRoutingMapaclnnMoeTokenUnpermuteWithRoutingMapGradaclnnMoeUpdateExpertaclnnNormRopeConcataclnnNormRopeConcatBackwardaclnnNsaCompressaclnnNsaCompressAttentionaclnnNsaCompressAttentionInferaclnnNsaCompressGradaclnnNsaCompressWithCacheaclnnNsaSelectedAttentionaclnnNsaSelectedAttentionGradaclnnNsaSelectedAttentionInferaclnnPromptFlashAttentionaclnnPromptFlashAttentionV2aclnnPromptFlashAttentionV3aclnnQkvRmsNormRopeCacheaclnnQkvRmsNormRopeCacheWithKScaleaclnnQuantAllReduceaclnnQuantFlashAttentionScoreaclnnQuantGroupedMatMulAlltoAllvaclnnQuantGroupedMatMulAlltoAllvV2aclnnQuantGroupedMatmulDequantaclnnQuantGroupedMatmulDequantWeightNZaclnnQuantGroupedMatmulInplaceAddaclnnQuantLightningIndexeraclnnQuantLightningIndexerV2MetadataaclnnQuantMatmulAllReduceaclnnQuantMatmulAllReduceAddRmsNormaclnnQuantMatmulAllReduceV2aclnnQuantMatmulAllReduceV3aclnnQuantMatmulAllReduceV4aclnnQuantMatmulAllReduceV5aclnnQuantMatmulAlltoAllaclnnQuantMatmulAlltoAllV2aclnnQuantReduceScatteraclnnRainFusionAttentionaclnnRecurrentGatedDeltaRuleaclnnRingAttentionUpdateaclnnRingAttentionUpdateV2aclnnRopeWithSinCosCacheaclnnRopeWithSinCosCacheV2aclnnRotaryPositionEmbeddingaclnnRotaryPositionEmbeddingGradaclnnRotaryPositionEmbeddingV2aclnnScatterPaCacheaclnnScatterPaKvCacheaclnnScatterPaKvCacheWithKScaleaclnnSparseFlashAttentionaclnnSparseFlashAttentionGradaclnnSparseFlashMlaaclnnSparseFlashMlaGradaclnnSparseFlashMlaGradMetadataaclnnSparseFlashMlaMetadataaclnnSparseLightningIndexerGradKLLossaclnnSparseLightningIndexerKLLossGradaclnnSparseLightningIndexerKLLossGradMetadataaclnnSwinAttentionScoreQuantaclnnSwinTransformerLnQkvQuantaclnnWeightQuantMatmulAllReduceaclnnWeightQuantMatmulAllReduceAddRmsNormaclnnWeightQuantMatmulAllReduceV2编译与运行样例aclnn返回码【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考