AI领域论文速递：2026年5月30日-31日

一、大模型基础架构与可解释性突破1. 从 Claude 3 Sonnet 中提取可解释特征核心贡献Anthropic 团队发表里程碑式论文首次在生产级大模型Claude 3 Sonnet中成功提取出可解释的单语义特征。研究团队使用大规模稀疏自编码器将模型残差流重新视为可分解的高维向量成功识别出表征 金门大桥、代码错误、欺骗 等概念的方向向量。这些概念特征是多模态、多语言的即不论看到相关文字或图片不论是中文还是英文中的同一概念表征该概念的向量都会激活。更重要的是人为干预这些特征的强度会定向影响模型的输出证明这些特征是因果性的而非恰巧相关。实际应用该研究为大模型可解释性提供了实用工具使开发者能够直接观察模型内部的概念表示。这不仅有助于调试模型的错误行为还为模型对齐、安全审计和特征操控提供了技术基础。例如可以通过抑制 欺骗 特征来提高模型的诚实性。与以往不同以往的可解释性研究大多局限于小模型验证无法扩展到生产级大模型。Anthropic 的方法突破了这一限制证明了即使在数十亿参数的模型中也存在可解释的单语义特征。2. 语言模型遗忘机制容量、优化与自生成重放核心贡献纽约大学研究团队系统揭示了大语言模型在持续微调过程中的遗忘机制。研究发现遗忘并非不可避免的宿命而是模型容量、数据分布和优化策略共同作用的结果。团队提出了一种创新的 自生成重放 方法利用模型自身作为旧数据的生成器无需保存原始预训练数据即可有效缓解遗忘问题。实际应用该方法解决了大模型持续学习中的核心痛点使企业能够在不保留敏感原始数据的情况下对模型进行安全高效的持续微调。这对于医疗、金融等数据隐私要求严格的行业具有重要意义同时也显著降低了持续学习的存储和计算成本。与以往不同传统的持续学习方法依赖于保存旧数据或使用正则化约束效果有限且成本高昂。纽约大学的方法从根本上改变了这一范式放弃保存旧数据转而通过模型自采样文本进行重放并在其上约束 KL 散度使模型在学习新任务的同时保持对旧任务的预测能力。3. 基于动量的解码期 KV 缓存压缩核心贡献印度理工学院团队提出了一种高效的解码期 KV 缓存压缩方法 Moment-KV。该方法无需额外训练通过引入“动量机制”对注意力分数进行时间维度的平滑聚合将 token 的重要性建模为动态演化的状态。实验表明在仅针对解码阶段进行高达 8 倍压缩的极端设置下该方法仍能显著提升长文本生成的保真度且不增加解码延迟。实际应用Moment-KV 能够显著降低大模型在长文本生成任务中的显存占用增长。通过冻结预填充缓存、极限压缩解码缓存它为解决长序列自回归生成时的“显存爆炸”问题提供了极具价值的方案有助于降低长文本推理服务的算力成本。与以往不同现有的免训练 KV 缓存压缩方法如 H2O、SCOPE 等大多依赖固定的“近期窗口”或“单步瞬时注意力”容易误删那些暂时未被关注但具有长期价值的关键 token。Moment-KV 摒弃了僵化的静态启发式规则利用动量机制捕捉注意力的“时间平滑性”成功在极高的压缩率下保留了关键的长期上下文信息。二、具身智能4. 基于物理接触表示的仿真到现实灵巧操作核心贡献苏黎世联邦理工学院和加州伯克利大学等机构的研究团队提出了一种基于物理原理的接触表示方法 —— 压力中心 (Center-of-Pressure, CoP)将局部触觉信息抽象为三维接触力向量和三维接触位置。该方法既保持了力与位置信息的丰富性又具有紧凑性便于在仿真和真实硬件之间对齐。实际应用该研究解决了接触丰富的灵巧操控任务中仿真到现实迁移的效率瓶颈。在销孔插入和球平衡等不依赖视觉的挑战性任务中基于 CoP 的策略在零样本仿真到真实迁移中表现优异显著优于基于二值接触和原始触觉信号的基准方法。与以往不同现有的触觉表示方法要么过于粗糙丢失了精细操控所需的信息要么过于复杂导致传感器特异性强、可解释性差。CoP 作为中间方案有效弥补了这些不足为复杂接触操控任务的仿真到真实迁移提供了新的思路。三、AI 科学与多智能体系统5. 覆盖 19 个材料科学子领域的多模态推理基准核心贡献上海人工智能实验室联合多所高校发布了 OmniMatBench这是首个经过人类校准的、覆盖 19 个材料科学子领域的多模态推理基准。该基准包含3171个精心设计的问题涉及晶体结构、电子性质、热力学、力学性能等多个方面。通过对13 款开源及闭源多模态大模型开展测评结果显示最优模型的综合得分仅为 0.372说明当前模型在材料科学推理能力上仍存在巨大短板。进一步分析发现不同细分领域间模型表现差异显著模型推理方式固化材料知识掌握不均衡即便结合公式检索、信息调取、代码辅助等手段模型对高阶知识的落地应用能力依旧不足。实际应用OmniMatBench 为评估 AI 模型在材料科学领域的推理能力提供了标准化平台有助于推动 AI 辅助材料发现的发展。研究人员可以使用该基准来测试和比较不同模型的性能从而开发出更加准确和高效的材料设计工具。与以往不同现有的材料科学 AI 基准大多局限于单一子领域或单一模态无法全面评估模型的多模态推理能力。OmniMatBench 覆盖了材料科学的广泛领域包含文本、图像、表格等多种模态的数据能够更加真实地反映 AI 模型在实际材料研究中的表现。原文[2605.29358] Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet[2605.26097] Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay[2605.29873] Moment-KV: Momentum-Based Decode-Time KV Cache Compression for Long Generation[2605.28812] Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation[2605.29833] OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields