在日常生活中你是否遇到过这样的情况你的AI助手记住了你平时聊天时爱用表情符号和开玩笑的习惯却在你请它代写正式工作邮件时依然保持着这种轻松风格这种令人尴尬的情况并非偶然而是目前AI技术面临的一个重要挑战。这项由延世大学和LG AI Research联合开展的突破性研究发表于2026年3月17日论文编号为arXiv:2603.16557v1首次系统性地探讨了一个让许多用户头疼的问题为什么AI助手总是不能准确判断什么时候应该使用你的个人偏好什么时候应该收起这些偏好研究团队发现了一个令人震惊的现象。就像一个不懂察言观色的助理即使在最正式的场合AI助手依然会固执地展现用户的个人偏好。当研究人员测试目前最先进的AI模型时发现即使是表现最好的GPT-5.2在40.95%的情况下仍会在不合适的场合错误地应用用户偏好。更令人担忧的是一些模型的错误率甚至高达86.48%。这个问题的严重性远超想象。当AI助手被用于代发邮件、撰写正式文件或与第三方沟通时不恰当地使用个人偏好可能会造成严重的社交后果。研究团队形象地描述了这样一个场景用户平时喜欢幽默的语调和表情符号但当AI助手代为撰写给税务局的正式申诉信时依然保持着玩笑般的语调这显然是极其不合适的。更有意思的是研究团队发现了一个看似矛盾的现象那些在合适场合正确应用用户偏好能力较强的AI模型往往也更容易在不合适的场合错误地应用这些偏好。就像一个热情过度的服务员虽然很会迎合客人的喜好但却不懂得在正式场合收敛自己的表现。这说明目前的AI技术并不是真正理解了什么时候该用什么偏好而是简单粗暴地按照强度来调节偏好的整体应用程度。一、问题的本质AI把偏好当成了死板的执行命令要理解这个问题我们可以把用户偏好想象成一套社交礼仪规则。就像你在朋友聚会时可以大声说笑、用网络流行语但在商务会议中需要保持专业形象一样不同的社交场景要求我们调整自己的表达方式。然而目前的AI助手就像一个社交新手无法根据不同场景灵活调整自己的行为。研究团队把这个问题称为上下文感知的偏好选择性。简单来说就是AI需要学会察言观色根据当前的交流对象和任务性质决定哪些个人偏好可以展现哪些应该暂时收起。这就像你的私人秘书需要知道在给朋友发短信时可以使用表情符号但在给法官写信申请延期时绝对不能这么做。现有的AI评估方法主要关注AI是否能忠实反映用户偏好这就像只考核员工是否能完全按照指示行事却不考虑他们是否懂得因地制宜。这种评估标准的局限性导致了当前AI技术的盲区它们被训练成完美的指令执行者却缺乏基本的社交判断力。为了深入研究这个问题研究团队创建了一个名为BenchPreS的专门测试系统。这个系统就像一个模拟的社交实验室包含了39种不同的正式交流场景比如给税务机关解释税务差异、向法院申请延期、与银行商讨贷款等。同时他们还创建了10个虚拟用户档案每个档案都包含5种不同类型的个人偏好从说话风格、语调到格式偏好应有尽有。二、惊人的实验发现最聪明的AI也会犯愚蠢错误研究团队的实验结果令人震惊。他们测试了当前最先进的10款AI模型包括GPT-5.2、Claude-4.5、Gemini 3 Pro等发现了一个令人意外的规律越是善于应用用户偏好的AI越容易在错误的场合应用这些偏好。举个生动的例子当一个用户的档案显示他偏好幽默语调和表情符号时AI助手在帮他撰写给银行的正式贷款申请时竟然写出了这样的内容
延世大学揭秘:AI助手为何总在错误场合展现你的个人偏好
发布时间:2026/6/8 22:04:34
在日常生活中你是否遇到过这样的情况你的AI助手记住了你平时聊天时爱用表情符号和开玩笑的习惯却在你请它代写正式工作邮件时依然保持着这种轻松风格这种令人尴尬的情况并非偶然而是目前AI技术面临的一个重要挑战。这项由延世大学和LG AI Research联合开展的突破性研究发表于2026年3月17日论文编号为arXiv:2603.16557v1首次系统性地探讨了一个让许多用户头疼的问题为什么AI助手总是不能准确判断什么时候应该使用你的个人偏好什么时候应该收起这些偏好研究团队发现了一个令人震惊的现象。就像一个不懂察言观色的助理即使在最正式的场合AI助手依然会固执地展现用户的个人偏好。当研究人员测试目前最先进的AI模型时发现即使是表现最好的GPT-5.2在40.95%的情况下仍会在不合适的场合错误地应用用户偏好。更令人担忧的是一些模型的错误率甚至高达86.48%。这个问题的严重性远超想象。当AI助手被用于代发邮件、撰写正式文件或与第三方沟通时不恰当地使用个人偏好可能会造成严重的社交后果。研究团队形象地描述了这样一个场景用户平时喜欢幽默的语调和表情符号但当AI助手代为撰写给税务局的正式申诉信时依然保持着玩笑般的语调这显然是极其不合适的。更有意思的是研究团队发现了一个看似矛盾的现象那些在合适场合正确应用用户偏好能力较强的AI模型往往也更容易在不合适的场合错误地应用这些偏好。就像一个热情过度的服务员虽然很会迎合客人的喜好但却不懂得在正式场合收敛自己的表现。这说明目前的AI技术并不是真正理解了什么时候该用什么偏好而是简单粗暴地按照强度来调节偏好的整体应用程度。一、问题的本质AI把偏好当成了死板的执行命令要理解这个问题我们可以把用户偏好想象成一套社交礼仪规则。就像你在朋友聚会时可以大声说笑、用网络流行语但在商务会议中需要保持专业形象一样不同的社交场景要求我们调整自己的表达方式。然而目前的AI助手就像一个社交新手无法根据不同场景灵活调整自己的行为。研究团队把这个问题称为上下文感知的偏好选择性。简单来说就是AI需要学会察言观色根据当前的交流对象和任务性质决定哪些个人偏好可以展现哪些应该暂时收起。这就像你的私人秘书需要知道在给朋友发短信时可以使用表情符号但在给法官写信申请延期时绝对不能这么做。现有的AI评估方法主要关注AI是否能忠实反映用户偏好这就像只考核员工是否能完全按照指示行事却不考虑他们是否懂得因地制宜。这种评估标准的局限性导致了当前AI技术的盲区它们被训练成完美的指令执行者却缺乏基本的社交判断力。为了深入研究这个问题研究团队创建了一个名为BenchPreS的专门测试系统。这个系统就像一个模拟的社交实验室包含了39种不同的正式交流场景比如给税务机关解释税务差异、向法院申请延期、与银行商讨贷款等。同时他们还创建了10个虚拟用户档案每个档案都包含5种不同类型的个人偏好从说话风格、语调到格式偏好应有尽有。二、惊人的实验发现最聪明的AI也会犯愚蠢错误研究团队的实验结果令人震惊。他们测试了当前最先进的10款AI模型包括GPT-5.2、Claude-4.5、Gemini 3 Pro等发现了一个令人意外的规律越是善于应用用户偏好的AI越容易在错误的场合应用这些偏好。举个生动的例子当一个用户的档案显示他偏好幽默语调和表情符号时AI助手在帮他撰写给银行的正式贷款申请时竟然写出了这样的内容