音乐人工智能（Music AI）：视觉动作的协调通过“Mu波同步”机制增强音乐愉悦感

在音乐欣赏中，我们不仅用耳朵“听”，也常常借助眼睛“看”。那么，为什么观看表演者的动作，会让音乐听起来更加动人？

近日，中国科学院心理研究所杜忆研究组与加拿大麦吉尔大学Robert Zatorre教授团队合作，为这一音乐认知神经科学的重要问题给出了全新答案。研究发现，表演者动作与音乐声音的协调能够显著提升听众的愉悦体验，其背后机制是大脑中“Mu波同步”（Mu entrainment）所反映的感知—运动整合。

关键词：脑科学；Music AI；视觉；音乐；疗愈；愉悦；听觉；五感；无界；音药；多模态；声波；Medi MUSIC

尽管以往研究已注意到视觉信息会影响人们对音乐的评价，但此研究首次从神经机制层面系统揭示视觉动作如何增强音乐快感。研究团队招募了31名年轻听众，让他们在观看歌唱或小提琴演奏视频的同时，记录其主观评分、皮肤电反应和脑电信号。视频材料中设置了声音与动作协调（如口型与歌声匹配）与不协调（动作与声音错位）两种条件。

结果显示，与不协调条件相比，动作协调显著提升了听众的主观愉悦评分和皮肤电反应，说明视觉协调性确实放大了音乐引发的情感体验。进一步脑电分析揭示，当动作与音乐匹配时，大脑8–13 Hz的Mu波与音乐声学包络的相干性明显增强，显示出更强的神经同步性（图1）。

图1. Mu波能量（A）与Mu波-声音包络相干性（B）在视听一致和视听不一致条件下的差异，以及Mu波相干性与主观愉悦度和皮肤电反应的相关（C）

中介分析结果进一步发现，这种“Mu波同步”在视觉协调性对愉悦感的促进过程中起到关键的中介作用（图2）。

图2.中介分析结果

研究还发现一个有趣现象：视觉协调性对愉悦感的增强主要体现在声乐表演中，而对小提琴演奏，在非演奏者听众中并未引起显著差异。研究者推测，这可能是因为每个人都具备“发声”的身体经验，容易通过视觉观察歌手的口型、喉咙动作来内化并预测声音，从而强化愉悦感；而对于不熟悉的乐器动作，则难以引发相应的感知—运动模拟。

该研究为“音乐为何动人”提供了新的神经科学证据：音乐的快感不仅来源于听觉，也依赖于视觉与身体经验的共同参与。表演者的协调动作通过促进大脑的感知—运动整合，提升个体对音乐结构的预测与加工流畅性，进而增强审美愉悦。

这一发现不仅深化了对音乐审美多感官本质的理解，也对舞台演出、音乐教学、多媒体设计等领域具有实际参考价值——在声音与动作的协调中，或许正隐藏着打动观众的关键。

西方古典音乐能显著影响大脑活动，尤其是对难治性抑郁症患者。通过测量脑电波和神经成像，科学家们发现音乐可以同步大脑中与感觉和情绪处理相关的区域之间的神经振荡，从而改善情绪。这项研究表明，个性化的音乐疗法可能是治疗抑郁症的有力工具，特别是当与其他感官刺激相结合时。

· 古典音乐被发现可以同步神经振荡，改善抑郁症患者的情绪。

· 这项研究的重点是负责处理感觉和情感信息的大脑区域。

· 个性化的音乐治疗计划可能会提高难治性抑郁症患者的治疗效果。

无论是巴赫、贝多芬还是莫扎特，人们普遍认为古典音乐可以影响人的情绪。

“BNST - NAc 回路，有时被视为‘扩展杏仁核’的一部分，突显了该回路与杏仁核——这一情感信息处理的核心结构之间的紧密关联，”

这个研究表明，音乐通过听觉同步，让大脑皮层 - BNST - NAc 回路的神经振荡同步了三倍。

研究中的患者被分为两组：低音乐鉴赏能力组和高音乐鉴赏能力组。高音乐鉴赏能力组显示出更显著的大脑神经同步和更好的抗抑郁效果，而低音乐鉴赏能力组的结果较差。通过对患者分组，研究者能够更精准地探究音乐的抗抑郁机制，并提出个性化的音乐治疗方案，以提升治疗成果。例如，在将θ频率噪声融入音乐以增强 BNST - NAc 振荡耦合时，低音乐欣赏水平组的患者报告称其音乐享受程度更高。

该研究获得加拿大健康研究院和科技创新2030“脑科学与类脑研究”重大项目（2021ZD0201500）支持。

研究成果已发表在Social Cognitive and Affective Neuroscience。心理所博士毕业生张磊为第一作者，心理所杜忆研究员与加拿大麦吉尔大学Robert Zatorre教授为共同通讯作者。

论文信息：Zhang L,Du Y,ZatorreRJ. (2025). Visual Congruency of Performers’Movements Enhances Vocal Music Reward through Mu Entrainment. Social Cognitive and Affective Neuroscience,nsaf089. https://doi.org/10.1093/scan/nsaf089

参考文献（点击滑动查看）

1.Lv X, Wang Y, Zhang Y, et al. Auditory entrainment coordinates cortical-BNST-NAc triple time locking to alleviate the depressive disorder. Cell Reports. doi: 10.1016/j.celrep.2024.114474