帕多瓦大学研究：AI竟能通过听音乐“尝出“甜酸苦辣？

这项由意大利帕多瓦大学主导的研究发表于2026年7月以预印本形式挂载于arXiv平台编号为arXiv:2507.03296v1研究方向归属于音频与声音处理领域cs.SD。你有没有这样的经历听到某段轻快明亮的钢琴曲脑海里会莫名浮现出甜味而当低沉浑厚的大提琴拉响时嘴里仿佛泛起一丝苦涩这种感觉不是你的错觉心理学和神经科学领域的研究者们早就发现人类的听觉和味觉之间存在一种稳定的跨感官联系。帕多瓦大学的研究团队决定把这件事推进一步——他们要用人工智能来听音乐然后让机器尝出这段音乐的味道。这听起来颇为异想天开但背后的逻辑非常扎实。高音调、协和悦耳、音色明亮的音乐在人类听众那里普遍与甜味产生联想低音调、粗糙嘈杂、音色暗沉的音乐则更多让人联想到苦味和酸味。这种联系被称为跨感官对应是一种跨越个体差异的群体性现象与极少数人才有的联觉如听到声音会看见颜色完全不同它是普罗大众共有的感知规律。正是基于这一规律一种叫做声音调味Sonic Seasoning的应用正在兴起——餐厅在播放背景音乐时刻意选择能增强菜品风味感知的曲目广告公司用特定音乐强化产品的口味印象多感官设计师们也在探索用声音改变人们对食物的主观体验。然而这一领域在音乐信息检索和多媒体技术领域几乎是一片空白没有人系统性地去建立一套能从音频内容自动预测味觉感知的技术体系。帕多瓦大学的研究团队就此展开工作他们建立了一套完整的技术框架用十个不同的音频特征提取器编码器来聆听音乐再用一个共享的预测模块来输出五种味觉强度——甜、苦、咸、酸、辣。整个系统不仅在预测精度上超越了此前的最优方案还能被直接用作音乐检索工具让你通过输入一个口味需求来检索出符合那种味觉感受的音乐。一、 味觉与听觉之间那条看不见的线要理解这项研究首先需要弄清楚跨感官对应究竟是怎么一回事。把这个现象想象成一套隐藏在大多数人脑子里的默认翻译规则当你的耳朵接收到某种声音特征时大脑会自动按照这套规则在潜意识里生成一个对应的味觉印象。这套规则已经被研究者们反复验证过它的核心内容大致如下。音调越高、乐器音色越明亮比如长笛或铃声那种清脆的感觉与甜味的关联就越强音调越低、音色越暗沉粗糙比如大号或失真吉他则越容易让人联想到苦味而某些中频的、带有一定质感的声音则更多和咸味、酸味搭上边。这种规律不是哪个文化独有的在欧美、亚洲等多个地区的受试者中都得到了验证。在应用层面已经有餐厅开始用这套原理来设计声音菜单——当你品尝一道甜点时餐厅会同步播放高频明亮的音乐来强化甜度感知当你喝一杯黑咖啡时低沉的音乐则会让苦味更加突出。这不是噱头是有心理学实验背书的真实效应。在计算机处理音乐的领域此前已经有一些零星的探索。来自哥伦比亚大学的一位研究者曾经针对一个257首歌曲的电影原声数据集训练了五个独立的人工智能模型分别对应甜、苦、咸、酸、辣五种味道每种味道用一个单独的模型来预测。这个系统后来还被用来给一个叫FMA的大型音乐数据集打上味觉标签。此外帕多瓦大学自己的研究团队此前也通过生成式AI制作了味觉主题的音乐并进行了49人参与的感知验证实验积累了一批经过人工验证的音乐—味觉对应数据。这次的新研究正是站在这些前人工作的肩膀上系统性地把味觉预测从音频升级为一个正式的、可重复的、有多项评估指标的技术基准测试。二、 这套系统是怎么品尝音乐的整个系统的工作原理可以用一个厨师团队品鉴食材的比喻来理解。你有一锅汤一段音乐现在把它分别送给十位各有专长的品鉴师十个音频编码器去尝。每位品鉴师根据自己的专业背景从汤里捕捉到不同的风味信息最后再由一个总评委共享的多任务预测模块综合所有品鉴意见给出一个五维度的味觉评分。具体来说这十位品鉴师分别代表四个不同技术流派的音频处理模型。第一类是监督学习的音频识别模型包括VGGish谷歌开发的音频特征提取器、PANNs大规模预训练音频神经网络和AST音频频谱变换器第二类是自监督的语音与音乐模型包括HuBERT用于语音理解、MERT专为音乐理解设计和Omar-RQ第三类是跨模态模型包括CLAP能同时理解音频和文字和EnCodec音频压缩编码器第四类是专门为音乐理解而训练的MULE模型此外还有一个作为基准下限的MFCC一种传统的音频特征提取方法。每段15秒的音乐片段进入系统后会被每个编码器分别转换成一串数字向量你可以把它理解为每位品鉴师的口头描述被翻译成数字语言然后经过时间轴上的平均压缩输入到一个两层的神经网络中间层有256个神经元用ReLU激活函数配合0.2的随机失活来防止过拟合最终通过一个Sigmoid函数把结果压缩到0到1之间输出五个味觉强度值。这里有一个重要的设计决策值得注意研究团队没有像之前的方法那样为每种味道训练一个单独的模型而是用一个共享模型同时预测五种味道。这样做的好处是充分利用了五种味觉之间本来就存在的关联性——比如评级为非常甜的音乐往往也会得到较高的不太苦评分这种关联信息在共享模型中可以被隐式地学习到。数据集来自三个来源的合并帕多瓦大学自己做的49人感知实验包含20道菜肴音乐经过人工验证、之前用生成式AI制作的100首任务音乐436名评分者参与、以及哥伦比亚研究者使用的257首电影原声。三者合并后按照固定比例分为训练集269个片段、验证集68个和测试集40个严格禁止重新洗牌以确保不同系统的结果可比较。由于生成式AI那部分数据没有辣味这一维度的标注训练时使用了带掩码的均方误差损失函数遇到没有标注的维度就跳过而不是用零值代替否则系统会误以为那些歌曲的辣味强度是零造成虚假信号。三、 谁是最厉害的味觉品鉴师经过系统测试研究团队发现了一个既出人意料又耐人寻味的结论在绝对误差这个指标上十个编码器几乎打成平手而且一个单独的VGGish就已经达到了最好的效果。用数字来说VGGish在宏观均方根误差RMSE可以理解为预测值与真实值的平均偏差上达到了0.134这是全部单编码器中最低的。这意味着模型给出的味觉评分平均只偏离真实值约13.4%在0到1的评分范围内。作为对照此前的最优系统五个独立的AST模型在同样的测试集上的RMSE是0.219。研究团队对这个差距做了仔细的拆解分析发现改进的主要来源并不是换了更好的特征提取器而是改变了预测模型的输出方式和损失函数的设计把输出从无界的线性回归改成了有界的Sigmoid防止预测值跑到0到1范围以外再配合掩码损失函数避免未标注维度产生假零值这两项改动就贡献了整体0.085个RMSE改进中的0.076占绝对主导地位。在四个表现最佳的编码器中每个人各有所长没有一个全能冠军。VGGish在甜味和辣味预测上领先但在咸味上表现垫底CLAP和MULE在咸味上更可靠AST在酸味预测上排第一。这种各有专长的特性正是后续融合策略的基础。此外研究团队还做了一个特别有价值的对比把AI系统的误差与真人评分者的误差放在同一把尺子下量。在49人参与的感知实验里如果随机抽走一个评分者然后用他的评分去和其他48人的平均分比较这位普通人类评分者的平均偏差RMSE是0.280。而AI系统在同样这批真实音乐上的RMSE是0.130——不到人类单个评分者误差的一半。换句话说这台机器对群体平均口感的把握比随机抽到的任何一个普通人类评分者都要准确得多。四、 融合品鉴能带来什么额外收益既然单个编码器各有专长那么把它们组合起来是否能取长补短、得到更好的结果研究团队为此设计了一种叫做门控晚期融合的策略。这个策略的工作方式有点像给每位品鉴师分配一个动态权重。系统会学习在预测某种味道时应该更多地参考哪位品鉴师的意见通过一个可学习的门控机制Sigmoid权重对每个编码器的特征进行重新加权再送入共享的预测模块。这个门控参数是和预测头一起被训练的而各个编码器本身的参数保持冻结不动。研究团队测试了七种不同的编码器组合涵盖双编码器组合如ASTVGGish、VGGishMULE、CLAPVGGish等、三编码器组合ASTVGGishMULE以及四编码器组合CLAPASTVGGishMULE。结果显示融合策略确实带来了提升但提升的方向很具体它主要提高了排名相关性用Pearson相关系数r衡量而不是绝对误差。表现最好的VGGishMULE组合把宏观Pearson r从单独VGGish的0.666提升到了0.724但RMSE保持不变同样是0.134。这说明如果你的目标是用AI来取代人工评分关心误差大小一个VGGish就够了如果你的目标是用AI来给音乐库建立检索索引关心排名质量融合版本更合适。值得注意的是把更多编码器堆在一起并不一定更好——四编码器组合并没有比双编码器组合表现更出色互补性比数量更重要。VGGishMULE之所以是最优配对一个重要原因是两者的关键频带完全不重叠下文会详细解释它们的互补性在数学上是真实存在的而不只是凑数。在分源头的测试中研究团队还发现了一个有意思的现象之前的最优系统五个独立AST在真实音乐这个子集上的排名相关性反而是最高的r0.767这很可能是因为它的训练数据主要就是电影原声这类真实音乐。然而在生成式AI创作的音乐那个子集上它的误差高达0.295约是当前系统的2.5倍原因是原先的系统从未见过生成式AI音乐中那种高强度的苦味、咸味和酸味提示。这说明训练数据的覆盖面对系统的泛化能力至关重要。五、 AI品鉴背后的物理原理它在听什么预测结果很好但为什么好研究团队为此设计了两套分析工具试图打开这个黑箱验证机器是否真的利用了那些心理学文献认为应该与味觉对应的声音特征。第一套工具叫做心理声学探针。做法是对每个编码器输出的特征向量训练一个简单的岭回归模型一种线性回归变体看它能多好地预测九种已知的音频声学特征频谱质心反映音色明暗、频谱滚降点、带宽、平坦度、过零率、均方根能量、节奏速度、谐噪比、频谱对比度。这九个特征正好对应心理学文献里反复出现的那些与味觉感知相关的声学线索。结果出来后CLAP在所有频谱类特征上都表现出最强的线性可预测性R?在0.78到0.93之间说明这个用音频-文本对比学习训练的模型对频谱细节保留得最好。AST紧随其后然后是MERT和EnCodec。而VGGish和PANNs尽管在味觉预测上表现优秀但频谱探针的R?却相当低——这意味着它们很可能是通过某种非线性的、频谱之外的表示来完成味觉预测的而不是直接依赖这些心理学教科书上列出的声学线索。这也解释了为什么不同编码器的组合能够互补它们通过完全不同的中间表示走向了相近的结论。第二套工具叫做跨编码器音频频段截断测试。具体做法是用一个零相位四阶巴特沃斯带阻滤波器依次把音频中八个梅尔刻度频段覆盖0到8000赫兹的信号截断然后重新输入编码器观察每种味觉的预测相关性如何变化用Pearson r的下降量ΔR来衡量。为了排除响度差异的干扰截断后的音频经过了均方根归一化处理。这个测试的结果非常具体地揭示了不同编码器依赖的频率区间而且这些区间与心理学文献高度吻合。AST最依赖260到610赫兹这个区间来预测甜味去掉这段后相关性下降0.039以及0到260赫兹的次低频来预测苦味下降0.129。VGGish依赖0到260赫兹预测苦味下降高达0.166同时依赖3.9到5.6千赫兹的中高频区间来预测咸味和酸味。MULE则高度依赖1到3千赫兹的区间来预测咸味下降0.294和辣味下降0.264。CLAP则对任何单一频段的截断都不敏感最大下降不超过0.064反映出它更加鲁棒、分散的表示方式。这些数字与已有的心理学研究一一对应低频暗色声音引发更多苦味感知260到610赫兹的明亮共鸣区与甜味跨感官联想相关MULE依赖的1到3千赫兹区间则正好覆盖了文献中与咸味和酸味关联最密切的频率范围。VGGish和MULE两者的关键频段完全不重叠前者主要在次低频和中高频后者集中在中频这在物理层面解释了它们为什么是最好的融合配对两者的信息来源真的是互补的而不是重复的。六、 用口味档案来搜索音乐一个全新的检索维度这项研究不仅是在做味觉预测还把预测结果转化成了一种全新的音乐检索方式。设想你是一家餐厅的老板需要为一道苦甜参半的黑巧克力甜点配上合适的背景音乐——你应该怎么找传统的音乐信息检索系统主要依靠流派、情绪、速度等标签来组织音乐库。现在研究团队提出了一个新维度用预测出来的五维味觉向量甜、苦、咸、酸、辣各一个数值来给音乐建立索引然后根据口味需求来检索。检索的具体做法是从帕多瓦大学自己的数据集里提取五种典型食物口味的平均味觉向量作为查询条件。甜味查询对应甜点苦甜查询对应黑巧克力咸鲜查询对应鲜味食物酸味查询对应柑橘辛辣查询对应辣椒。每个查询都是一个真实食物感知评分的平均值而不是人为设定的理想向量因此它保留了真实口味的复杂性比如甜点查询里会带有一点酸味因为很多甜点里有水果成分。检索时系统计算音乐库里每首歌的预测味觉向量与查询向量之间的欧氏距离按距离从近到远排名。为了让评估更严格研究团队把40个测试项目和269个训练项目合并成了一个309项的候选池用精确率kPrecision at k表示排在前k名里有多少是真正符合条件的来评价。单看40个测试项目时所有方法都能轻松得高分因为候选池太小扩展到309项后才能真正区分好坏。结果基于预测味觉向量的检索方法所有变体在精确率5、10、20上均达到了0.833以上大多数配置甚至是满分1.000。作为对比随机排名只能得到0.500的基准分。更有趣的是研究团队还测试了CLAP的文本检索功能——也就是用文字描述比如甜蜜的音乐、苦涩的旋律来直接检索音频这是当前业界最先进的通用音频-文本跨模态检索技术之一。结果令人吃惊CLAP文本检索的Spearman秩相关系数只有0.122接近于零即随机水平ROC曲线下面积AUC为0.484接近0.5即随机水平在五个查询里只为其中一个找到了有效的候选项。这说明通用的文字-音频语义对齐并不能捕捉到味觉这种精细的感知维度——甜蜜的音乐这个词语描述和听起来甜的音乐这个感知现象在现有的多模态模型里根本不是同一回事。这对于音乐库的实际应用意义重大如果真的要做基于味觉感知的音乐检索只有用显式训练了味觉预测任务的模型才有效通用大模型在这里完全失效。在检索精度方面ASTVGGish融合版本的秩相关系数0.693略高于VGGishMULE0.663和此前的最优系统0.645成为检索场景下的最佳选择。这也印证了前面的结论对于不同的使用场景最佳系统是不同的——单VGGish适合评分替代ASTVGGish融合适合建立检索索引。此外在不同查询类型间系统的表现也存在差异黑巧克力查询苦甜混合的秩相关最高达到0.820柑橘查询酸味主导的相关最低仅0.474。这与心理学文献的预测完全一致甜味和苦味是跨感官对应中效应量最大的两种维度酸味的对应则相对微弱系统在不同味道上的表现差异正好反映了人类感知规律本身的强弱分布。七、 这套方法的局限与边界研究团队在文中对这项工作的局限性做了相当坦诚的说明。首先是数据规模的问题。整个实验只有269个训练样本和40个测试样本这在机器学习领域算是相当小的规模。正因为如此连一个简单的岭回归线性模型在测试中都几乎能达到与复杂神经网络相当的效果说明当前问题的规模下模型复杂度并不是瓶颈数据量才是。测试集仅有40条数据这意味着统计不确定性较大——用自举法Bootstrap计算出来的95%置信区间宽度约为0.18所以那七种融合配置的排名实际上都在彼此的置信区间内差异并不显著。研究者们明确指出扩大标注数据集是推进这一领域最重要的下一步而不是设计更复杂的模型。其次是文化偏见的问题。这套系统所依赖的跨感官对应规律主要来自西方文化背景下的心理学实验而且现有文献对甜味和苦味的研究最为充分对酸味次之对咸味和辣味辣在技术上是口腔三叉神经的化学感受不属于基本味觉的约束最弱。因此这套系统的跨文化泛化能力是存疑的在非西方文化背景下使用时需要格外谨慎。再次是辣味维度的特殊性。辣实际上并不是严格意义上的味觉而是口腔黏膜的温度感受器被辣椒素激活产生的痛觉/热觉信号与甜苦咸酸这四种经由味蕾感知的基本味觉在神经机制上有本质区别。当前系统对辣味的预测在不同编码器间差异最大VGGish相关系数0.787而Omar-RQ是负相关说明辣味维度的建模是最不稳定的部分。说到底这项研究在技术上的最大贡献不是发明了什么全新的神经网络架构而是把一个此前只存在于心理学实验室里的感知现象系统性地转化成了一个可重复测试的工程基准并且证明了这个任务用冻结编码器加小型预测头就能达到相当好的效果——好到足以在实用场景中取代或辅助人工评分。归根结底这件事告诉我们音乐承载的信息远不止旋律、节奏和情绪它的物理声学特征里还隐藏着一个味觉维度而这个维度是可以被机器读出来的。以后当你走进一家餐厅背景音乐听起来格外甜蜜那可能不只是老板的品味而是算法在帮你的味蕾做预热。QAQ1跨感官对应是什么意思为什么听音乐会让人感觉到味道A跨感官对应是指人类感官之间存在的一种群体性联想规律不同于极少数人才有的联觉。研究发现高音调、明亮音色的音乐在大多数人的潜意识里会引发甜味联想而低音调、粗糙暗沉的音乐则更多与苦味相关。这不是偶然的个人感受而是在不同文化背景的实验中被反复验证的普遍规律是大脑对感官信息进行跨通道整合的结果。Q2为什么CLAP这种能理解文字和音频的先进模型在味觉检索上反而几乎没用ACLAP的文字-音频对齐训练的是语义相似性也就是让狗叫声和狗这个词对应。但甜蜜的音乐这个词的语义和听起来像甜味的音乐这个跨感官感知完全是两码事。CLAP没有被训练去捕捉这种微妙的感知维度所以在味觉检索任务上表现接近随机这说明通用大模型在细粒度的感知预测任务上并不能自动泛化需要专门训练才行。Q3音乐味觉预测技术将来可以用在哪些实际场景里A最直接的应用场景是餐厅和食品广告系统可以根据菜品的口味特征自动从音乐库中检索出与之匹配的背景音乐强化顾客的味觉感知体验。在音乐推荐领域它提供了一个全新的检索维度用户可以用想要一首听起来更甜一点的同类歌曲这样的需求来找音乐。此外它还可以用于辅助人工进行大规模音乐库的味觉标注减少人力成本。