电讯技术

作者：王宇,刘宇昂,赵梦洁,涂晓光,牛知艺,杨明,刘建华,殷举航,朱新宇,石臣鹏,章超,张铖方

单位：(1.中国民用航空飞行学院 航空电子电气学院，四川 广汉 618307;2.中国民用航空飞行学院 四川省通用航空器维修工程技术研究中心，四川 广汉 618307;3.成都中医药大学附属医院，成都 610032;4.智能警务四川省重点实验室， 四川 泸州 646000;5.四川警察学院 道路交通管理系， 四川 泸州 646000)

关键词：非接触情绪感知；多模态表情识别；远程光电容积脉搏波描记法（rppG）；人脸三维法向量；

基金：中国博士后科学基金(2022M722248);中央高校基本科研业务费(ZHMH2022-004，J2023-026);四川省通用航空器维修工程技术研究中心资助课题（GAMRC2023YB06）;智能警务四川省重点实验室开放课题（ZNJW2024KFQN003）

近年来，基于深度学习的情绪识别技术取得了显著进展。然而，现有方法主要集中在面部图像或视频上，忽略了其他模态信息，导致鲁棒性和稳定性不足。为了解决这一问题，提出了一种融合多模态信息的面部表情识别方法。首先将输入的人脸视频进行远程光电容积脉搏波（Remote Photo plethysmography，rPPG）信号和人脸三维法向量的提取，其次将这两种模态的信息输入其相应的情绪特征提取子网络，提取出对应的情绪特征向量。然后，将这两种模态提取出的情绪特征向量进行融合，生成一个丰富的特征向量，最后将其输入分类器进行情绪分类任务。通过这种多模态信息融合的方式，提高了面部表情识别的准确性和稳定性。对所提方法在不同数据集上进行了验证，实验结果表明，该方法在多样化面部表情识别中的表现优于当前先进的情感识别方法，具有更高的鲁棒性和稳定性。

来源：2024年第10期

《电讯技术》期刊编辑部

查看电讯技术杂志2024年第10期