025、Transformer与注意力机制简介

025 Transformer与注意力机制简介从一次失败的语音唤醒调试说起去年做智能家居项目，客户要求在Cortex-M4上跑一个关键词唤醒模型。我一开始图省事，直接拿现成的LSTM方案移植——结果呢？Flash占用飙到800KB，RAM吃掉200KB，推理延迟接近300ms。更离谱的是，在嘈杂环境下唤醒率直接掉到60%以下。后来团队里一个做CV的同事随口说了句：“你们NLP还在用RNN？试试Transformer的注意力机制啊，轻量级版本在树莓派上都能跑。”我当时第一反应是：Transformer？那玩意儿不是BERT、GPT才用的吗？嵌入式能跑？结果查了一圈资料，发现Google在2019年就出了MobileBERT，2021年有EdgeBERT，甚至有人在STM32上跑通了TinyTransformer做关键词识别。这篇文章就聊聊我踩过的坑和总结的经验——注意力机制到底怎么在资源受限的MCU上落地。注意力机制：别被“注意力”这个名字骗了很多人第一次接触注意力机制，会被“注意力”这个拟人化名词带偏。其实它本质上就是一个加权求和操作——给输入序列中每个位置分配一个权重，权重高的位置“更受关注”。拿语音唤醒举例：你说“小爱同学”，模型需要重点关注“小爱”这两个音节，背景噪音的权重应该压低。注意力机制就是干这个活的。数学上，最基本的注意力计算是：Attention(Q, K, V) = softmax(Q * K