PureKV: Plug-and-Play KV Cache Optimization with Spatial-Temporal Sparse Attention for Vision-Lan...

文章总结与翻译一、主要内容该研究针对视觉语言大模型（VLLMs）处理高分辨率输入时面临的KV缓存规模膨胀、预填充与解码效率低下等核心问题，提出了一种即插即用的KV缓存优化框架PureKV，实现稀疏注意力与KV缓存压缩的联合优化。核心解决思路包括两方面：一是提出跨层重要性估计（CLIE）策略，利用低层注意力分数结合高层V向量的L2范数来评估高层KV缓存的重要性，避免了对高层显式注意力矩阵的依赖，从而兼容FlashAttention等高效注意力机制；二是设计时空稀疏注意力（ST-SpAttn）模块，通过保留帧内局部关联、帧间时序一致性及首帧全局上下文，抑制空间背景噪声和时间冗余，净化KV缓存的信息结构。在VideoLLaMA2、Qwen2.5-VL等模型及MVBench、AVSD等数据集上的实验表明，PureKV在实现5.0倍KV缓存压缩和3.16倍预填充加速的同时，模型性能损失可忽略不计，且在10%-20%缓存预算下仍能保持稳定表现，适用于实时多模态应用的规模化部署。二、创新点跨层KV缓存重要性估计：提出轻量级、无显式注意力分数依赖的估计方法，利用低层注意力分数作为高层KV缓存重要性的有效代理，兼容各类高效注意力加速器，解决了传统基于注意力分数的剪枝方法与高效注意力机制不兼容的问题。时空稀疏注意力机制：专为视频KV缓存优化设计，通过空间稀疏（首帧关联+帧内关联）和时间稀疏（首帧锚定+前一帧对应token关联）的双路径设计，既加速预填充阶段，又净化KV缓存结构，提