基于生理信号量化观众的情感反应

摘要— 本文提出了一种新颖的度量方法，从心电图和皮肤电活动信号中提取特征，以近乎实时地将每位观众的反应量化为无、中等和高。该度量方法直观，并且与生物特征数据的手动编码结果吻合良好。该度量方法有效性和可靠性的初步证据来自一系列使用不同刺激（即体育赛事；广告；情景喜剧）和不同参与者群体（N=231）的研究。本文还讨论了这种方法在多种用途上的实用性。

关键词— 媒体研究，生理信号，心率，皮肤电导，拐点，信号处理，自适应阈值。

引言

情感反应可以广义地定义为对特定内心感受的反应，伴随着可能或可能不外显的生理变化。简而言之，情感涉及生理唤醒和认知归因（即标签化）。情感唤醒涉及自主神经系统活动的变 化。自主神经系统是一个通用生理系统，负责调节外周功能，如心率和呼吸节奏[1]。该系统由交感神经和副交感神经分支组成，通常分别与激活和放松相关。由于ANS的通用性，其活动并不仅仅是情感反应的功能，还涵盖了与消化、稳态、努力、注意力等多种其他功能。

ANS激活的常用评估指标基于皮肤电（即汗腺）或心血管（即血液循环系统）反应。皮肤电活动是人体导致皮肤电特性持续变化的属性。EDA的测量，通常称为皮肤电导，由交感神经活动自主调节，交感神经活动在潜意识层面驱动人类行为、认知和情感状态。SC为自主情绪调节提供了直接的洞察。Najström和Jansson [2] 研究了在压力性生活事件后，对掩蔽威胁图片的皮肤电导反应性对情感反应的预测价值。EDA可用于索引几种不同的过程，如激活、注意力以及任务重要性或刺激的情感强度[3]。Simons等人[4]表明，与低唤醒度图像相比，高唤醒度图像引 发的SC反应更大。Hubert和de Jong-Meyer [5]也发现，一部10分钟的卡通片诱发了一种愉快的愉悦状态，其特征是低水平的唤醒和SC的快速下降。相比之下，一部悬疑片则导致放松感减 少，唤醒度增加，表现为SC的显著增加。

用于研究情感反应的最常用心血管指标包括心率、血压、总外周阻力、心输出量、射血前期和心率变异性。HR和BP反映了交感神经和副交感神经活动的结合，而HRV与副交感神经活动密 切相关[6]。Choi等人[7]建议仅在视觉刺激诱发高度情绪时才使用基于HRV的评估。De Jonckheere等人[8]表明，基于HRV的度量可以很好地指示情感情境中的副交感神经变化。Appelhans和Luecken [9]为使用HRV作为个体情绪反应调节差异的指标提供了理论和实证依据。HRV是一种易于使用的研究工具，可以增进对情感在社会和心理病理过程中作用的理解。

研究人员已将ANS输出整合到关注对各种刺激和媒体的情感反应的研究中。Detenber等人[10] 借助主观测量和生理数据（SC和HR）研究了图像运动对个体情感反应的影响。Renaud和Blondin [11]测量了心率、皮肤电导反应频率和自我报告，以研究参与者在执行计算机版Stroop 色词干扰测试期间的焦虑水平。

作为一种广告媒介，电视具有许多优势，例如视听冲击力强、地理覆盖范围广、目标选择精准以及受众覆盖面广[12]。为了确保这些优势，需要大量的资金投入。例如，2018年超级碗30秒广告的平均价格超过500万美元[13]。因此，为了最大化这些收益并最小化财务浪费，广告从业者和研究人员一直关注电视广告的效果。多篇文章表明，可以通过监测神经生理参数来研究广告的效果。Siefert等人[20]在2008年超级碗期间收集了生物特征数据，并研究了生物特征测量在评估消费者对广告内容的情感投入方面的效用。Ohme等人[14]证明了神经生理测量可以捕捉消费者对略有不同的营销刺激反应的差异。作者展示了观众对电视广告中一个修改场景的神经生理反应存在显著差异。Ravaja [15]概述了心理生理测量在媒体研究中用于注意力和情绪的应用，重点介绍了三种最常用的测量方法：心率、面部肌电图和皮肤电活动。Lang [16]通过分析心率数据，显示了观看商业信息的受试者的短期注意反应和长期唤醒。

评估ANS对刺激的反应的潜在益处几乎没有争议。然而，此类研究的成本、时间和解释难度严重限制了这些技术的应用。后者尤其令人烦恼，因为许多本可以从纳入生理测量中受益的人，由于缺乏熟悉度、经验或认为无法解释数据输出而避免使用它们。本文提出了一种新颖的度量方法， 用于基于受试者的心率和皮肤电导研究其情感反应，以解决这些问题。该度量可以实时生成，无需基线校准，直观且易于解释，并可用于在同一尺度上评估不同的刺激。

本文描述了该度量的计算方法、用于收集数据的系统，并展示了一系列证明该度量有效性和可靠性的研究。主要贡献在于展示了一个能够收集生物物理数据、计算非意识度量并实时、无需人工干预生成结果的系统。

试点数据收集

数据是在多个会话中从74名受试者（包括男性和女性）收集的。受试者包括大学生和成年 人。参与者被安排在一个封闭的房间内，刺激通过投影或屏幕显示。在广告开始播放前，向参与者简要介绍了传感器和研究动机。

所有三种SC反应都依赖于窗口内值的斜率。采用线性回归模型来计算窗口内SC值的斜率。线性回归试图通过将线性方程拟合到观测数据来模拟两个变量之间的关系。在我们的案例中， 这两个变量分别是时间和SC值。数学上，线性回归可以表示为：

Y = aX + c (1)

其中Y表示皮肤电导值，x表示时间，c为常数，a为斜率。

a=(X’X)-1XTY(2)

自适应阈值为窗口期内皮肤电导值的平均值函数。当斜率超过该阈值时，该时间窗口即标记为"高正向趋势"；若斜率低于阈值但仍为非负值，则标记为"正向趋势"。

"拐点"指标同样基于斜率计算，用于识别曲线方向发生变化的转折位点。当个体在某个时间窗口内的皮肤电导总体呈负斜率趋势，但出现上行转折迹象时，该窗口即标记为"拐点"。相较于趋势检测或峰值检测方案只能在事件发生后识别响应，该指标能更早检测出皮肤电导对刺激的反应。文献[24,25]提出的方法需通过事后处理识别拐点，本研究则采用以下实时检测方案：若最新皮肤电导值超过负趋势线上的特定阈值，则标记为"拐点"。图3展示了图2中两位受试者的皮肤电导响应曲线。

试点观察

通过一套精细而简洁的编码系统，我们将推导出的皮肤电导与心率变异性响应量化为情绪反应指标。皮肤电导响应分为三个等级：高正向趋势、正向趋势与拐点；而心率变异性响应为二元指标，即基于阈值处理的EBC值进行判定。

图5中标示了皮肤电导的趋势点与拐点示例：洋红点标识正斜率的起始位点，绿点标记正向趋势，红点则显示高正向趋势。在大多数时间段内，心率变异性未出现剧烈波动，仅在某些区间呈现低值状态—— 这意味着心率保持相对恒定，表明受试者正处于注意力集中状态。

该受试者在多数时间都对刺激产生了反应。在30秒附近同时出现高正向皮肤电导趋势与心率变异性响应， 故标记为高强度响应；同理，130秒附近同时出现的拐点与心率变异性响应也被归类为高强度响应。其 余"常规响应"则完全由皮肤电导变化引起（即未伴随相应的心率变异性响应）。

从图5可清晰看出，受试者在前两条广告期间持续产生反应，而对后两条广告反应较弱（这与前文提及的消费者报告结论一致）。研究通常不局限于个体分析，通过计算响应观众占比即可实现全体受试者数据的聚合分析。如图6所示，在35秒时点：起亚为100%观众响应，洁霸广告为75%，《坦克世界》广告为37.5%，肯德基广告达62.5%。前两条广告的高强度响应观众比例显著高于后两条，这种观众比例时序图能帮助研究人员直观掌握多数受试者产生共鸣的关键时刻。

上述所有指标均支持实时计算，因为响应提取与分类算法仅依赖5秒时间窗口数据，而非全时段数据。这使得焦点小组主持人能实时定位广告或其他刺激物中的兴趣点，而非依赖事后获取的自我报告。自我报告仅能提供对整体广告的笼统评价，无法精准定位引发观众兴趣的具体节点，且可能受到与刺激无关的外部因素干扰；而本算法检测的生理参数变化则不受这些外部因素影响。

效度验证研究

A. 引言

本试点研究的主要目标是建立一套高度自动化的方法，将观众反应编码为三个等级（即无响应、常规响应、高强度响应）。随后我们开展了一系列后续研究以检验这些指标的效度。我们特别关注这些指标是否能真实测量情绪唤起水平——寻找一个无可争议的情绪唤起结果测量指标本身具有挑战性。

在试点研究中，我们确实发现：根据本指标显示， 获得更积极评价的广告能在更多观众中引发情绪唤起响应。但正如其他文献[15]所充分证明的，无意识测量提供的情绪信息与自我报告数据既可能形成互补，也可能存在矛盾。

为应对寻找独立结果测量指标的挑战，我们决定在体育赛事场景中评估响应指标。毋庸置疑，体育赛事中的某些片段比其他片段更能引发情绪唤起。例如，得分片段相较于普通非得分片段应能引发更强的情绪反应。虽然部分非得分片段可能同样精彩， 但大多数非得分片段的情绪唤起程度可能低于得分片段。因此，若我们的指标显示得分片段比非得分片段产生更强的唤起反应，就能为“该响应指标确实有效评估情绪唤起”提供佐证。此外，我们预期得分片段的唤起强度应高于标准情绪化媒体内容

（如情景喜剧）。

我们针对测量指标提出六项可通过这些数据集验证的假设，现将按预期效应强度逐条论述如下：

1. 足球进球时刻的响应强度应高于比赛平均值。从直觉而言，进球时刻理应比足球比赛中的普通片段引发更强烈的反应。在两场世界杯赛事中，对进球产生响应的观众峰值比例比比赛期间的平均响应高出四个标准差以上。若三个随机样本均出现超出均值三个标准差的情况，其概率仅约四亿分之一。

2. 超级碗达阵得分应高于比赛平均水平。同理，美式橄榄球中的达阵得分也比普通比赛片段更能引发情绪唤起。在2018年超级碗的143个比赛片段中

（含达阵、射门及其他非得分片段），观众平均响应率为44%（标准差14%）。其中监测到的7次达阵时刻，峰值响应观众比例达90%，超出比赛平均值3.2个标准差。

3. 超级碗射门得分应低于达阵但高于比赛均值。这是因为射门得分值较低、通常经过预先布置（缺乏突发性），且基于踢球位置可预判结果。但作为得分方式，其重要性仍高于普通比赛片段。射门得分时的平均峰值响应率为64%，较比赛均值高1.4个标准差，但显著低于达阵得分——这与预期完全吻合。该现象随机发生的概率低于0.1%。

4. 广告响应强度应低于比赛本身。2018年超级碗比 赛期间观众平均响应率为44%，而广告时段仅38%；法国-秘鲁世界杯比赛响应率为38%，中场广告仅30%；墨西哥-巴西世界杯比赛响应率49%，广告时段48%。所有案例均显示比赛响应 率略高于广告，验证了该假设。但差异幅度小于预期，可能是"关注广告"的指令要求人为抬升了 广告响应值。

5. 法国-秘鲁比赛的响应水平应低于墨西哥-巴西比赛。这一预期源于法国-秘鲁比赛的受试者中缺乏双方球队拥趸，而墨西哥-巴西比赛则全部为墨西哥队球迷。实际数据呈现显著差异：法国-秘鲁比赛平均响应率为38%，而墨西哥-巴西比赛达49%。该差异可能因法国-秘鲁比赛精彩度不足而放大（事后多名受试者反馈该场比赛较为沉闷）。

6. 顶级体育赛事的平均响应水平应高于情境喜剧。基于收视规模与竞争赛事的本质属性， 顶级体育赛事理当比情境喜剧——尤其是一部收视惨淡、研究结束后即遭停播的剧集

——更能激发观视兴趣。数据支持该假设： 剧集响应观众比例均低于三项体育赛事。情境喜剧平均响应率为34%，而超级碗、法国- 秘鲁世界杯、墨西哥-巴西世界杯的响应率分别为44%、38%和49%。

对这四项数据集的分析结果全面支持了所有六项先验假设。这些发现有力印证了该响应指标具备以下特征：

1. 能捕捉引发观众情绪唤起的关键时刻

2. 可区分能引发情绪唤起的刺激与无效刺激

3. 能量化观众群体中不同等级的情绪唤起强度

4.可在统一量纲下实现不同刺激源的比较评估

总结与结论

本文提出了一种使用生理信号（ECG和EDA）来量化受试者情感反应（反应率度量）的信号处理方法。SC数据被分 类为3类之一：高正趋势、正趋势和拐点。IBI数据被转换为HRV，并进一步标记为HRV反应。然后使用独特而简单 的编码方案将SC和HRV反应转化为情感反应。反应率度量具有一系列非常理想的功能特性，包括：

1. 可以实时计算。

2. 对研究人员来说直观，并且贡献可以追溯到个体 受访者。

3. 与数据的手动编码结果吻合良好。

4. 捕捉整个反应周期，而不仅仅是峰值。

5. 可用于在同一尺度上比较不同的刺激。

通过将硬件、软件和算法集成到一个系统中，研究人员能 够在人们暴露于刺激时实时分析他们的情感反应。

为了评估有效性，作者分析了体育赛事，在这些赛事中可 以合理地假设观众对得分回合会有高反应。然后我们将此 分析扩展到其他刺激，包括广告和电视情景喜剧。研究结 果支持了直观的假设：

1. 高兴奋度得分回合（达阵和进球）的反应率比平

2. 低兴奋度得分回合（射门得分）的反应率比平均 值高出约1.4个标准差。

3. 参与度较低的观众比参与度较高的观众反应率更 低。

4. 电视广告和情景喜剧的平均反应率低于体育赛 事。

最后，作者通过比较情景喜剧研究中的子样本与全样本来 评估了度量的可靠性。