CANN PTO通信测试调试

【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaname: PTO-COMM 通信算子测试与调试指南 description: PTO-COMM 通信算子的测试方法和调试技巧。涵盖 CPU 仿真测试、NPU 硬件测试、Golden 数据生成、正确性验证、多 rank 测试框架、常见运行时错误诊断、信号死锁排查、精度问题分析、mssanitizer 内存检测等。触发需要测试 PTO-COMM 通信算子、生成 Golden 数据、排查通信死锁/数据错误/信号异常、编写测试用例时。 license: CANN Open Software License Agreement Version 2.0PTO-COMM 通信算子测试与调试指南定位本 Skill 是流程型 诊断型Skill覆盖 PTO-COMM 通信算子的完整测试流程和常见问题调试方法。测试体系概述测试层次层次目的环境速度CPU 仿真功能验证、快速迭代x86_64 / AArch64秒级单指令 ST验证单条通信指令NPU 硬件分钟级算子级 ST验证完整通信算子多 NPU 硬件分钟级性能测试带宽/延迟/吞吐多 NPU 硬件分钟级测试目录结构tests/ ├── cpu/comm/st/testcase/ # CPU 仿真测试 │ ├── common.hpp │ ├── CMakeLists.txt │ ├── tgather/ │ └── tscatter/ ├── npu/a2a3/comm/st/testcase/ # NPU A2A3 测试 │ ├── common.hpp │ ├── hccl_context.h │ ├── comm_mpi.h │ ├── CMakeLists.txt │ ├── tput/ tget/ tnotify/ twait/ ttest/ │ ├── tgather/ tscatter/ tbroadcast/ treduce/ │ └── tput_async/ tget_async/ └── npu/a5/comm/st/testcase/ # NPU A5 测试各测试维度详解维度详细文档CPU 仿真与 NPU 硬件测试测试环境与运行Golden 数据生成与正确性验证正确性验证方法常见问题诊断与调试工具问题诊断手册mssanitizer 内存检测与高级调试高级调试工具快速诊断表症状可能原因首查项程序挂起/超时TWAIT/TNOTIFY 不匹配、barrier 不对称信号方向、block 数一致性全零输出传输未执行、地址错误远端地址计算、kernel 是否启动随机值输出读到未初始化内存信号同步先写后读顺序部分正确Tiling 边界问题AlignUp、Tile 边界处理NaN/InfFP16 溢出AtomicAdd 累积次数接近但不精确FP16 精度限制放宽 atol/rtol第二次运行异常信号残留每次运行前清零信号矩阵读到陈旧数据缓存一致性dcci 编译器屏障逐步排查法1. CPU 仿真验证数据逻辑 → 通过 2. 单 rank 单 block 验证 → 通过 3. 单 rank 多 block 验证 → 排查 intra-rank 同步 4. 2 rank 验证 → 排查跨 rank 同步 5. 8 rank 验证 → 排查规模化问题精度标准速查数据类型推荐 atol推荐 rtol说明float (FP32)1e-51e-4高精度half (FP16)1.00.01AtomicAdd 累积误差较大int32 / int1600精确匹配测试检查清单功能测试CPU 仿真通过验证数据逻辑单 rank / 单 block 通过单 rank / 多 block 通过intra-rank 同步2 rank 通过基本跨 rank 通信8 rank或目标规模通过信号矩阵每次运行前清零FP16 精度在 atol/rtol 阈值内边界测试数据维度非对齐情况需要 padding单个 Tile 即可容纳的小数据量超大数据量自动分块nranks 2最小多 ranknranks 8典型规模鲁棒性测试连续多次运行均通过排除信号残留不同数据模式全零、全一、随机、极端值不同 Block 配置1/4/8/24 blocks性能测试Warmup 后稳定性能数据Compute-only baseline 对比流水线重叠效率pipelined / (compute comm)带宽利用率实际 / 理论峰值相关 SkillsSkill用途pto-comm-isa-reference指令签名与约束速查pto-comm-operator-develop通信算子开发流程pto-comm-performance-optimization性能优化方法vector-fusion-operator-generate向量融合算子开发和测试【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考