NPU为什么可以跑大语言模型：KV Cache的静态化艺术

NPU为什么可以跑大语言模型：KV Cache的静态化艺术副标题: 从动态KV Cache到静态blob，NPU如何突破硬件限制痛点：为什么NPU跑LLM这么难？当前NPU运行大语言模型面临一个核心问题：动态vs静态的矛盾。问题表现影响KV Cache动态增长每生成一个token，cache增长NPU要求固定shapeNPU静态执行编译时确定tensor shape无法处理动态数据内存带宽瓶颈Decode阶段内存密集生成速度慢一个真实案例：某团队尝试在NPU上部署LLM，发现每次生成都需要重新编译，耗时数分钟——因为KV Cache大小不固定。一、KV Cache核心机制1.1 为什么需要KV CacheLLM生成文本时逐token产出，每步都要重新做attention计算。Attention核心：当前token去"查看"前面所有token的信息Q（Query）、K（Key）、V（Value）三组投影向量计算：Q × K^T→ softmax →Score × V问题：生成第100个token时，前99个token的K和V完全一样，无需重算。解决方案：KV Cache缓存已计算的K和V1.2 推理两阶段阶段描述特点计算密度Prefill处理整个prompt计算密集型高Decode逐token生成内存带宽密集型低关键洞察：Prefill阶段：计算密集，适合NPUDecode阶段：内存密集，NPU面临挑战二、NPU难题：动态vs静态2.1 核心矛盾特性KV CacheNPU性质动态增长静态固定Shape每步变化编译时确定地址动态分配编译时确定本质：KV Cache天然动态：每生成一个token，cache增长一行NPU要求静态：编译时确定tensor精确shape和地址2.2 NPU执行模型NPU像"执行预编译程序"，不像GPU"动态调度指令"：编译时确定运行时输入tensor shape输入数据内存地址参数DMA搬运参数任务参数所有信息打包成blob（二进制ELF文件），NPU一次性执行。三、解决方案：预分配 + Attention Mask3.1 预分配固定大小KV Cache# 预分配固定大小KV CacheMAX_PROMPT_LEN=1024MIN_RESPONSE_LEN=128KV_CACHE_SIZE=1024+128=11523.2 Attention Mask标记有效数据# 生成第1个token：mask=[1,1,1,1,0,0...0]（4有效+1148空）# 生成第2个token：mask=[1,1,1,1,1,0...0]（5有效+1147空）核心思想：预分配最大可能大小用mask标记哪些是有效数据NPU执行时忽略mask标记的"空"数据3.3 效果对比指标动态方案预分配方案编译次数每步1次1次执行时间数分钟毫秒级内存使用动态固定四、软件栈三层架构4.1 分工层级仓库职责应用层openvino.genai分词、采样策略、聊天历史管理引擎层openvino.NPUW模型拆分、KV Cache管理、任务提交编译器层npu_compilerIR→blob编译，有状态→无状态转换4.2 NPU执行单元单元类型职责DPU固定功能卷积、矩阵乘法（Q×K^T、S×V）SHAVE可编程DSP激活函数、Softmax、RoPE、Attention kernel五、NPUW核心设计5.1 两个模型，一份KV Cache模型input_ids seq_lenKV Cache输出Prefill1024[batch, heads, 1024, head_dim]Generate1[batch, heads, 1152, head_dim]5.2 Generate变体编译多个generate变体（256/512/1024/1152），根据prompt长度选择最小的够用的变体，避免算力浪费。5.3 Chunked Prefillprompt超过MAX_PROMPT_LEN时分块处理，每块追加到KV Cache。六、编译器：有状