CLIP ViT 视觉编码器在序列开头额外添加可学习的 CLS token的原因

CLIP ViT 视觉编码器在序列开头额外添加可学习的 CLS token的原因CLS Token 源自 BERT，ViT 沿用，CLIP 视觉端完全继承这套设计，核心目的：产出一张图像专属、可和文本向量对齐的全局单向量表征。一、基础功能：提供可学习的全局信息聚合载体图像被拆成大量 Patch，需要一个统一“汇总出口”图像切为 N 个 Patch，每个 Patch 是局部视觉 token；Transformer 输出是长度 N 的序列，无法直接得到单向量全局图像特征。CLS 是额外、无对应图像像素的可学习虚拟 token，拼在 Patch 序列最前面，和所有 Patch 一同进入每一层自注意力。每一层多头注意力中，CLS 会主动和全部 Patch 做 QKV 交互，自动学习对整张图关键区域的注意力权重，逐层收集所有局部信息。最终只取最后一层 CLS 的向量，作为整张图像的唯一全局 embedding。参数可学习，比固定平均池化更灵活对比另一种方案：对所有 Patch 输出做全局平均池化（GAP）。平均池化：强制所有 Patch 权重均等，无关背景、遮挡、噪声区域同等贡献，语义区分能力弱；CLS Token：模型自主学习权重，自动压低无关背景、聚焦主体物体，更贴合“图像整体语义”提取需求。/