040、NPU的虚拟化：多任务共享NPU资源 嵌入式NPU原理基础：040、NPU的虚拟化：多任务共享NPU资源从一次诡异的推理超时说起去年做智能座舱项目，车机芯片里集成了一颗NPU，跑三个模型：人脸检测、手势识别、驾驶员疲劳监测。白天测试一切正常，一到晚高峰路测，人脸检测的推理延迟从15ms飙到80ms，偶尔还超时。查CPU占用率不到30%，内存也没爆，DDR带宽监控显示正常。折腾了两周，最后在NPU的硬件计数器里发现——三个模型的推理请求在硬件层面互相踩踏了。NPU不像CPU有MMU做地址隔离，也不像GPU有完整的上下文切换机制。它本质上是一个巨大的计算阵列，多个任务同时提交时，如果硬件没有虚拟化支持，就会出现“谁抢到算谁的”的混乱局面。那次之后我花了三个月把NPU虚拟化的坑踩了个遍，今天把这些笔记整理出来。NPU虚拟化到底在解决什么问题先看一个典型的多任务场景：系统里同时跑着语音识别（低延迟要求）和图像分类（高吞吐要求）。语音识别需要NPU每10ms处理一次，图像分类每100ms处理一次。如果NPU没有虚拟化，两个任务会竞争同一个计算单元——语音识别的权重还没加载完，图像分类的权重就冲进来把缓存冲掉了。结果语音识别延迟飙升，图像分类的吞吐也上不去。NPU虚拟化的核心目标就三个：资源隔离（一个任务不能吃掉所有算力）、地址空间隔离（任务A的权重不能污染任务B的权重）、性能可预期（每个任务拿到它承诺的算力份额）。听起来像CPU虚拟化的翻版，但NPU的硬件特性让这件事变得非常棘手