你见过3D人脸的情绪在电脑屏幕上表现出来的实验吗？

面部表情在调节观众的情绪反应中起着关键作用。触摸是塑造人类情感和社会交往的重要因素。该研究的目的是探讨观看和触摸虚拟情绪面对触摸者情绪反应的影响。在触摸模型的情况下，物理特性的影响，即刚度和纹理，被检查。

中性、愤怒、恐惧、厌恶、快乐、惊讶和悲伤等情绪面部表情在视觉刺激下被开发和实验验证，而纹理属性的四种组合在物理属性上被检验。25名参与者观看并触摸虚拟的情绪脸，并报告他们各自的情绪反应。该研究的发现有助于虚拟现实领域扩展到对在虚拟环境中建立情感上引人注目的人际互动的更深入的理解。该研究以“Emotional responses to watching and touching 3d emotional face in a virtual environment”为题于2020年10月7日发布于《Virtual Reality》杂志上。

研究背景

已知视觉刺激会影响个体的情绪状态。在其他视觉刺激中，虚拟现实(VR)是一种创造沉浸式体验的有效工具，能够产生或影响用户的情绪状态。同样，虚拟现实也显示出了其帮助克服社交恐惧症和其他精神障碍的有效性。

在情感交流方面，面部是表达情绪的主要渠道，面部表情在影响他人情绪方面具有重要作用。一些研究已经证实，虚拟环境中的面部表情可以诱导观察者的情绪反应。在影响研究者情绪的多种交互作用中，触觉模态是另一种情感输入媒介。据悉，触觉相互作用可诱导人类产生愉快或不愉快的感觉。已经有一些研究活动研究触觉(直接或间接)在引发或影响情感反应方面的作用。

触觉相互作用的物理特性可以影响特定的情绪反应。研究者每天都会感受到织物/衣服对研究者皮肤的触觉粘性，这影响了研究者的感知舒适度。一种感官的触觉体验对于体验被触摸对象的本质的感觉是必要的。

该研究旨在探讨在虚拟环境中观察和触摸虚拟人脸，展示情感面部表情对触摸者情绪反应的影响。

研究者给出了实验装置，包括：一个自定义的手指握把装置，用于模拟真实的指尖触觉装置；一个虚拟现实耳机，用于模拟沉浸式视觉体验；以及虚拟现实仿真。为了增强人体工效学的触觉体验，设计了一种定制的手指握把。

图为用于自我报告感知情绪反应的图形用户界面

图为实验装置

图形用户界面的设计是为了记录参与者的情绪反应。该界面有6个滑块，在0级−100上对六种基本情绪的等级进行评分，在−100级上有两个滑块对价格值和唤醒程度进行打分。

图为三维人脸模型和六种基本情感三维人脸模型

共有25名不同背景的受试者(13名女性，平均年龄23岁)参加了该研究。他们是通过纽约大学阿布扎比校区张贴的广告招聘的。所有参与者均按纳入标准进行评估：年龄范围为18至55岁，右手和正常或矫正视力正常，无骨科疾病史。

为了了解参与者是如何通过六种基本情绪观看虚拟面孔而受到情绪影响的，研究者分析了他们的主观评分。

研究者的结果表明，在虚拟环境中观看一张愤怒的脸会影响观看者的愤怒情绪(p < 0.01)。这一结果也与效价评分交叉验证(p < 0.01)。这些发现与之前的研究一致，即在现实世界中看到愤怒的脸会如何引发愤怒。

另一方面，如3.2节所示，恐惧面部表情与惊讶相混淆，导致惊讶显著增加(p < 0.05)，而恐惧则没有。这在以前的研究中也观察到了。厌恶模型的观察导致价评的显著下降(p < 0.01)。这证实了一种被称为“价强度效应”的现象，该现象描述了人类在消极情绪刺激中对价强度敏感，而在积极情绪刺激中则不敏感。快乐的面部表情会影响观察者的快乐程度(p < 0.01)。

这与之前的研究结果相一致，即在现实世界中，观看笑脸会让观众感到快乐。惊讶的面部表情影响观察者的惊讶反应(p < 0.05)。这在之前的研究中也得到了证实。最后，悲伤的面部表情导致悲伤显著增加(p < 0.01)和惊讶反应显著减少(p < 0.05)。这些结果也得到了交叉验证，效价评分显著下降(p < 0.05)，与之前的研究报告相似。

先前的研究表明，在现实世界中，观看情绪化的表情会影响观看者的情绪反应，而这次在虚拟环境中观看情绪化的表情的研究也证实了类似的发现。

为了评价个体在接触具有不同触觉特性(纹理和刚度)的情绪面孔时的情绪反应，对每一次触觉交互后参与者提交的主观评分进行了分析。当参与者被要求通过观察中性模型来评估他们最初的情绪反应时，评分会根据基线情况进行调整。

图为参与者在观察面部模型时的情绪反应的变化

图为当接触厌恶脸时，参与者的相对悲伤程度与观察中性脸的相对悲伤程度有四种触觉特征

研究结论

研究者的结果表明，在虚拟环境中观看一张愤怒的脸会影响观看者的愤怒情绪(p < 0.01)。这一结果也与效价评分交叉验证(p < 0.01)。这些发现与之前的研究一致，即在现实世界中看到愤怒的脸会如何引发愤怒。

另一方面，恐惧面部表情与惊讶相混淆，导致惊讶显著增加(p < 0.05)，而恐惧则没有。这在以前的研究中也观察到了。厌恶模型的观察导致价评的显著下降(p < 0.01)。这证实了一种被称为“价强度效应”的现象，该现象描述了人类在消极情绪刺激中对价强度敏感，而在积极情绪刺激中则不敏感。快乐的面部表情会影响观察者的快乐程度(p < 0.01)。这与之前的研究结果相一致，即在现实世界中，观看笑脸会让观众感到快乐。惊讶的面部表情影响观察者的惊讶反应(p < 0.05)。这在之前的研究中也得到了证实。

最后，悲伤的面部表情导致悲伤显著增加(p < 0.01)和惊讶反应显著减少(p < 0.05)。这些结果也得到了交叉验证，效价评分显著下降(p < 0.05)，与之前的研究报告相似。先前的研究表明，在现实世界中，观看情绪化的表情会影响观看者的情绪反应，而这次在虚拟环境中观看情绪化的表情的研究也证实了类似的发现。

参考文献：Muhammad Hassan Jamil, Wanjoo Park & Mohamad Eid Emotional responses to watching and touching 3d emotional face in a virtual environment  Virtual Reality (2020)