巴伊兰大学：当AI动“手术刀“时，如何确保只切病灶不伤好肉

这项由以色列巴伊兰大学Bar-Ilan University与艾伦人工智能研究所Allen Institute for Artificial Intelligence联合开展的研究以预印本形式于2026年7月4日发布在arXiv平台编号为arXiv:2607.03973v1归属计算机科学机器学习领域cs.LG。感兴趣的读者可通过该编号在arXiv上查阅完整论文。神经网络在学习语言和图像时会在内部形成一种类似多维度档案的信息结构。这份档案里塞满了各种信息——一个描述职场女性的句子它的内部表示不仅记录了职业还悄悄记住了性别一张人脸照片的特征向量里面既有是否戴眼镜也藏着是否化妆。问题在于有时候我们希望AI忘掉某些信息。举个具体例子如果你想让一个语言模型在推荐工作时不考虑性别你就需要从它的内部表示中抹掉性别信息——但偏偏职业和性别在现实数据中高度相关一不小心你在抹掉护士往往是女性这条信息的同时也把护士这个职业的语义一并破坏了。这就是所谓的概念擦除难题如何在不损坏其他信息的前提下精准移除目标概念。研究团队把这个两难困境形象地称为可手术性surgicality——好的擦除操作应该像外科手术一样只切掉肿瘤不伤周围健康组织。而这篇论文的核心贡献正是提出了一个更聪明的手术方案MANCE全称流形感知概念擦除MANifold aware Concept Erasure。一、为什么之前的手术刀总是误伤好肉要理解MANCE解决了什么问题先得搞清楚神经网络的档案室长什么样。当一个语言模型处理文字时它会把每个句子或单词转换成一串数字通常有几百甚至几千个维度。你可以把这串数字理解成一个多维空间里的一个点——一个句子就是空间里的一个位置。数以万计的句子就构成了空间里密密麻麻的点云。关键在于这些点并不是随机散落在整个空间里的。大量研究表明由真实输入产生的表示往往聚集在一个比整个空间小得多的、有结构的区域里——研究团队把这个区域称为流形manifold。用一个更直观的比喻来理解把整个表示空间看作一个巨大的三维房间而由真实语言输入产生的所有表示实际上只铺展在房间中央一块弯曲的地毯上——这块地毯就是流形。地毯上的每个位置都对应着真实世界里某种有意义的语言状态地毯以外则是无意义的荒野。之前的擦除方法无论是线性的还是非线性的在修改一个表示时往往会把它从地毯上推开推进荒野里。表面上性别信息被抹掉了但这个被推进荒野的点已经不再像任何真实的语言输入了——它周围那些原本编码着职业、语境、情感的微妙结构也随之被破坏。研究团队将这一核心观察提炼为流形约束假说Manifold Constraint Hypothesis简称MCH如果真实表示集中在一个结构化的低维流形上那么被约束在流形内的干预操作应该比不加约束的操作更能保留其他编码信息同时同样有效地抹去目标概念。换句话说手术刀必须沿着地毯的纹路走而不是随便往哪个方向切。二、MANCE如何做到沿纹路操作MANCE的核心机制用一个生活化的比喻来描述把修改表示这件事想象成在一张凹凸不平的地毯上挪动棋子。目标是把棋子从高性别信息区挪开但要求棋子必须始终贴着地毯表面滑动不能腾空飞起。具体做法分三步每一步都环环相扣。第一步是估算局部地毯的走向。对于每一个需要修改的表示点MANCE会在原始的、未经修改的真实表示中找出距离它最近的一批邻居K个最近邻。这些邻居所构成的局部区域就近似地描述了地毯在这个位置的弯曲方式。接着MANCE对这批邻居做一个局部主成分分析PCA提取出地毯在这里的主要纹路方向——在数学上这些方向被称为切空间的基向量记作Bi。值得注意的是这些邻居始终从未经修改的原始表示中取而不是从已被修改的表示中取。这样做的原因在于已修改的表示可能已经偏离了地毯用它们来估算地毯走向会产生错误。因此随着一个表示被多次修改逐渐远离初始位置它每次都重新从原始表示中寻找新的邻居以保证对地毯走向的估算始终锚定在真实流形上。第二步是把擦除方向投影到地毯上。在每一轮擦除迭代中系统会用一个非线性探针一个小型神经网络来判断当前表示是否还能预测目标概念然后计算这个探针预测值对表示的梯度——梯度告诉我们沿哪个方向修改表示能最有效地降低目标概念的可预测性。但这个梯度方向可能指向空中地毯外。于是MANCE把它投影到第一步估算出的切空间上只保留在地毯方向上的分量。更精妙的是投影后还要用奇异值即各方向的局部地形起伏幅度对各方向的贡献进行加权——地毯延伸得越宽广的方向得到的权重越大几乎没有延伸的细丝方向权重越小。这样做的直觉在于地毯延伸最宽广的方向是有真实数据支撑、最可靠的方向而细丝方向更接近噪声贸然沿这些方向移动更容易撕裂地毯。第三步是决定每步走多远。不同的表示点周围的邻居密度是不一样的有些点处于拥挤的密集区邻居挨得很近有些点处于稀疏区邻居离得很远。MANCE为每个点单独计算步长上限步长不超过该点到K个邻居的平均距离的ε倍ε固定为0.1。密集区的点每步走得小稀疏区的点每步可以走得稍大。这个自适应步长有双重好处——既避免了对密集区的过度扰动又允许稀疏区做出足够的调整而且因为步长是相对于局部邻居距离而非绝对数值来定义的这个0.1的参数在横跨13个不同规模语言模型的实验中无需任何调整即可直接使用。整个过程是迭代进行的共60轮每8轮重新训练一次探针因为随着表示被修改原来的探针可能已经不能准确反映剩余的目标信息需要升级换代。三、MANCE家族的三个成员从基础版到旗舰版论文不只提出了基础MANCE还在此基础上推出了两个升级版本形成了一个完整的方法家族。基础MANCE直接在原始表示上运行上述三步迭代流程主要处理非线性编码的概念信息。这类信息藏得比较深线性方法无法触及。MANCE在运行迭代流程之前先执行一个叫做LEACE的线性擦除步骤。LEACE由外部研究团队于2023年提出能够以封闭形式一次性消除两类表示的均值差异——换句话说它会让正类和负类比如男性句子和女性句子的平均表示点重合这样任何线性分类器都无法再通过均值差异区分两类。这一步处理速度极快只需几秒钟却能消灭最表层、最容易提取的线性信号从而让后续的迭代流程专注于处理更深层的非线性残余信号。MANCE在LEACE的基础上又额外加入了一步协方差不对称投影CovMatch。LEACE处理了均值差异但两类表示的方差结构可能仍然不同——比如男性相关句子在某几个方向上方差很大女性相关句子在另几个方向上方差很大这种差异本身也可以被非线性探针利用来识别性别。CovMatch计算两类表示的协方差矩阵之差ΔΣ Σ? – Σ?取其绝对值最大的两个特征向量并将这两个方向从表示中投影去除。整个操作只去掉了最多3个维度的信息均值差方向加上两个协方差差异方向对于动辄768到5376维的表示空间来说这不过是九牛一毛对保留其他信息几乎没有影响。但它有效地消除了二阶矩结构中可被利用的信号使后续迭代流程只需对付那些真正藏在非线性褶皱里的残余信息。研究团队通过消融实验证实对于性别这个概念仅做LEACE之后的非线性探针仍然能以远高于随机猜测的准确率预测性别加上CovMatch后残余信号降低但仍有14.8个百分点高于随机只有在MANCE的完整流程之后这个差距才接近零。对于安全性这个概念规律类似LEACE之后仍有大量残余MANCE将其压缩到几乎为零。而谄媚性sycophancy这个概念则很特殊——仅做LEACE和CovMatch就已经达到了接近随机的效果说明这个概念本身编码得相对线性MANCE的非线性迭代对它几乎没有额外贡献。四、实验怎么设计用什么来衡量手术是否成功研究团队设计了迄今为止概念擦除领域最大规模的评测框架涵盖119个设置横跨文本和图像两种模态。在文本方面他们选择了13个不同规模的大型语言模型包括Qwen2.5系列0.5B到3B参数、Gemma-2系列2B到27B、Gemma-3系列1B到27B、Llama-3.21B和3B以及Mistral-7B。对于每个模型实验都在模型深度约50%处的中间层提取隐藏状态因为这个位置通常编码最丰富的语义信息。三个擦除目标分别是谄媚性模型是否会迎合用户预期答案、性别从传记文本中读取职业时是否包含性别信息以及安全性对话内容是否涉及不安全内容。对应的保留目标分别是回答偏好、职业信息、有帮助性。在图像方面他们使用CLIP模型对CelebA人脸数据集的40个二元属性如是否戴眼镜、是否化妆、是否是男性等逐一进行擦除测试并为每个属性设计了两种保留场景一种选择与目标属性相关性最低的5个控制属性测试操作的地域精准度另一种选择相关性最高的5个控制属性测试在高纠缠情况下的可手术性。例如在擦除男性这个概念时相关性最高的控制属性包括涂口红相关系数约0.80、浓妆、没有胡须、有吸引力和络腮胡这些属性在数据中与性别高度相关若擦除操作不够精准极易在擦除性别的同时破坏这些属性的预测准确性。衡量标准方面论文定义了两个关键指标。目标泄漏target leakage衡量擦除后目标概念是否真的被清除干净在被修改的表示上重新训练一个非线性探针看它的预测准确率与随机猜测多数类准确率即始终猜最常见的那个类别相比差多少。差距为零说明彻底擦除差距越大说明擦除越不干净。可手术性损失surgicality degradation则衡量控制概念的预测准确率下降了多少理想的手术应该让控制概念准确率保持原样差距为零差距越大说明误伤越严重。为了公平比较研究团队引入了可手术性预算的概念允许控制概念准确率下降不超过1、3、5或10个百分点在此约束下比较各方法能达到的最小目标泄漏。这就像规定手术不能伤害超过X毫升好的组织在这个约束内比谁能更彻底地清除肿瘤。五、实验结果讲述了一个怎样的故事结果给出了非常清晰的图景而且在文本和图像两个领域高度一致。在文本实验的39个设置中13个模型×3个概念MANCE展示出了其他方法无法企及的综合表现。现有最强的非线性基准方法Obliviator在允许控制准确率下降不超过1个百分点的严格预算下能够达到随机猜测水平的只有13个设置其余26个设置要么超出了预算要么留有可观的残余泄漏。MANCE在同样的预算下有19个设置达到随机猜测并随着预算宽松逐渐扩展预算放宽到3个百分点时32个设置达到随机放宽到5个百分点时34个放宽到10个百分点时35个平均泄漏为零。更重要的是Obliviator之所以在某些设置上表现得好部分原因是它在那些设置上根本没有满足可手术性预算的有效步骤——也就是说它的好成绩是建立在大量没有结果的基础上的只在最容易的那几个任务上交出了漂亮的答卷。MANCE则相反它能在更多、更难的设置上保持在预算内并且在这些更难的设置上同样将泄漏压到零附近。性别擦除任务最能说明问题。职业和性别在真实数据中高度纠缠这正是方法可手术性最受考验的场景。在允许1个百分点控制损失的严格预算下MANCE能在13个模型中的3个上将性别信息擦除到随机猜测水平Obliviator一个都做不到。把预算放宽到5个百分点MANCE有12个模型达到随机Obliviator仍然一个都无法在预算内完成。安全性任务居中MANCE可以让11个模型在严格预算下达到随机Obliviator在2个模型上超出了预算。谄媚性任务则是个有趣的例外——所有方法包括最简单的线性方法都能轻松把它压到随机说明谄媚性信息在语言模型的中间层里本质上是线性可分的不需要非线性手段。在图像实验的80个设置中40个属性×2个控制相关度场景故事同样清晰。在相关度低的控制场景下属性之间几乎不纠缠MANCE在允许1个百分点控制损失时有39个属性保持在预算内并达到随机Obliviator只有15个在允许3个百分点时MANCE覆盖全部40个属性Obliviator只有29个。在相关度高的控制场景下这才是真正的难题MANCE在1个百分点预算下覆盖19个属性Obliviator只有2个在3个百分点预算下分别是34个对15个。Obliviator在最高相关度、最严格预算的组合下38个属性都没有任何满足预算的有效步骤——这意味着它的操作太过激进在清除目标概念的同时已经大幅破坏了与之相关的控制属性。六、是流形约束的功劳——消融实验如何证明这一点有人可能会问MANCE的成功究竟是来自流形约束这个核心设计还是仅仅因为它使用了更好的非线性探针或更多迭代步骤研究团队专门为此设计了一个对照实验称为AmbCE。它与MANCE在各方面完全相同——同样有LEACE和CovMatch的预处理同样用非线性探针计算梯度同样迭代60轮——唯一的区别是AmbCE去掉了切空间投影直接在整个表示空间里沿梯度方向迈步步长设定为MANCE实际使用的平均步长29.31这个值是从MANCE在39个NLP设置上的每轮每样本步长统计出来的。结果AmbCE留下了6到10个百分点的残余泄漏而且在许多设置上它的整条迭代轨迹都无法满足可手术性预算这些设置因此被排除在它的平均值计算之外——也就是说即便那个6到10个百分点的平均值也只是在它能完成的较简单设置上测出的实际整体表现更差。这个对比非常直接地证明了MANCE的性能提升确实来自流形约束本身而不是其他辅助设计。沿着地毯纹路走才是手术精准的关键。七、流形假说的直接验证真实表示空间真的是低维的吗研究团队还专门对流形约束假说的前提条件进行了验证毕竟整套理论的根基在于真实表示确实集中在低维流形上这一假设。他们使用一种叫做TwoNN的方法来估算表示的内在维数——简单地说这个方法通过分析每个点与其邻居的距离关系来推断数据实际上在多少维的空间里展开而不仅仅是被嵌入在多高维的向量空间里。对谄媚性概念的分析结果显示尽管表示向量本身的维度在768到5376之间其内在维数只有34到53——也就是说真实数据实际上只在不到百分之十的维度上展开其余维度上几乎没有有意义的变化。与此同时他们还计算了全局概念方向在所有样本上统一计算的单一擦除方向与局部概念方向在每个样本的邻域内单独估算的方向之间的夹角。对于谄媚性这个夹角在76.9到82.6度之间——几乎垂直这意味着单一的全局方向在不同局部几乎毫无代表性局部的流形方向因位置不同而大幅变化正是一个高度弯曲的低维流形应有的特征。相比之下性别概念的这个夹角在51.8到55.8度之间内在维数高达365到461——更接近线性分布这与前面观察到的线性方法就能很好处理性别高度吻合。这些几何分析不仅支持了流形约束假说的前提也解释了为什么不同概念需要不同的处理方式越是非线性、低维弯曲的概念流形约束的收益越大。八、计算代价值不值速度对比研究团队也如实报告了计算开销。在同一块NVIDIA B200 GPU上测试处理一个典型NLP设置Qwen2.5-1.5B模型的性别概念时LEACE只需约3.7秒加上CovMatch也只需7.3秒IGBP需要约20秒Obliviator约24秒INLP约286秒主要因为它的每轮都需要在CPU上做逻辑回归而MANCE家族的三个版本则分别需要约459秒、471秒和475秒——大约8分钟。主要的时间开销来自两部分每轮对所有样本做K近邻查找和局部SVD占运行时约50%以及CPU和GPU之间的数据传输占约40%。研究团队指出目前的实现并未针对速度优化一个完全在GPU上运行的实现可以将速度大幅提升。这8分钟是针对7200个训练样本、60轮迭代的一次性拟合时间不影响推理速度。归根结底MANCE用大约8分钟的预处理时间换来了其他方法无法达到的精准擦除质量。对于需要在生产环境中做表示级别信息控制的场景比如确保招聘推荐系统不编码性别偏见或者确保对话模型不泄露安全敏感信息这个代价是值得的。这项研究真正让人着迷的地方在于它把一个数学上的几何直觉——真实表示集中在低维流形上——转化成了一个可操作、可验证、可推广的工程方法并通过横跨两种模态、13个模型、43个不同概念的大规模实验证实了这一直觉的有效性。更深层的含义或许比方法本身更值得思考AI系统的内部记忆空间并不是一片混沌而是高度结构化的。这种结构一方面使得精准干预成为可能另一方面也意味着任何破坏这种结构的操作都会带来意想不到的副作用。未来在激活引导activation steering、概念迁移乃至模型行为控制等方向上尊重这种内部几何结构可能都是比暴力干预更明智的选择。对这一方向感兴趣的读者可以通过arXiv编号2607.03973查阅完整论文研究团队也已在GitHubMatanAvitan/mance上开放了代码。QAQ1概念擦除和直接在训练数据中删除某类信息有什么区别A直接修改训练数据需要重新训练整个模型代价极高而且训练本身的信息提取过程难以精确控制。概念擦除是在已训练好的模型的内部表示上直接操作无需重新训练适用于需要快速调整的生产场景且可以在保持模型其他能力不变的前提下定向移除特定信息。Q2MANCE擦除后的表示还能插回原模型继续使用吗A可以。MANCE修改的是表示向量本身输出的向量保持原始维度不变这正是Obliviator等方法无法保证的一个实用优势。保持维度意味着被修改的表示可以直接插回模型计算流用于激活补丁等下游操作。Q3流形约束假说在什么情况下会失效A当数据的内在维数接近表示空间的全维度时流形约束的优势会缩小——因为几乎每个方向都有数据支撑约束效果趋近于无约束。另外当用于估算局部切空间的自然表示样本数量不足或分布稀疏时切空间估算的精度会下降效果也会受影响。从实验来看性别概念的内在维数达到365至461接近部分模型的全维度这与性别适合用更简单线性方法处理的观察一致。