019、数据复用策略：如何最大化数据重用率？

数据复用策略：如何最大化数据重用率？去年调试一块自研的NPU芯片时，遇到一个让人抓狂的问题：理论算力标称4TOPS，实际跑MobileNet v1只有不到600GOPs。排查了三天，最后发现是数据搬运占了80%的功耗，计算单元大部分时间在“等数据”。这个教训让我意识到，NPU设计里，数据复用比算力堆叠重要得多。数据搬运的“隐形杀手”很多刚接触NPU的工程师会陷入一个误区：以为把MAC阵列做大就能提升性能。实际上，从DDR搬运一次数据到片上SRAM，功耗大约是计算一次的200倍。这意味着，如果你让数据在DDR和计算单元之间反复“旅游”，芯片很快会变成“电老虎”。我见过一个团队设计的NPU，片上SRAM只有64KB，跑3x3卷积时，输入特征图每行都要从DDR重新加载。结果呢？计算单元利用率不到15%，大部分时间都在等数据。这就像让一个顶级厨师等食材从菜市场运过来，炒菜只花10秒，等菜却要5分钟。三种核心复用模式1. 输入特征图复用（Input Feature Map Reuse）这是最直观的复用方式。当卷积核在输入特征图上滑动时，相邻窗口之间有大量重叠区域。比如3x3卷积，步长为1，相邻窗口有6个像素是重复的。实际做法：在片上设计一个“滑动窗口缓冲区”，大小至少为 (KH-1)*W + KW，其中KH是卷积核高度，W是特征图宽度，KW是卷积核宽度。这个缓冲区会像“滚轮”一样，每次只更新最右边的一列数据。