多模态连续情感识别方法、服务推理方法及系统

专利信息

专利权人:山东大学

第一发明人:路飞

专利号:ZL202110361649.6

授权日:2022-06-24

专利类型:发明

国别:中国

所属领域:信息 机器人

开放许可开始日期:2024-01-16

开放许可截止日期:2026-04-30

单次许可期限:三年

许可费支付方式:一次性支付60000

专利简介

专利权人 山东大学 第一发明人 路飞
专利号 ZL202110361649.6 授权日 2022-06-24
专利类型 发明 国别 中国
所属领域 信息 机器人 开放许可开始日期 2024-01-16
开放许可截止日期 2026-04-30 单次许可期限 三年
许可费支付方式 一次性支付60000

本发明公开了本发明提供了一种多模态连续情感识别方法、服务推理方法及系统。所述方法包括:获取包含用户面部表情和语音的视频数据;对于视频图像序列,提取人脸图像,对人脸图像进行特征提取,得到表情情感特征;根据表情情感特征进行连续情感识别;对于语音数据,获取语音情感特征;根据语音情感特征,进行连续情感识别,将表情情感识别结果和语音情感识别结果相融合,克服了单模态在连续情感识别存在的缺点,提升了情感识别精度;在此基础上,基于多实体贝叶斯网络模型进行服务推理,使得服务机器人能够针对用户情绪对服务动态的做出调整。