情感机器人走进本科生《智能机器人技术》课堂

2020年12月18日，在《智能机器人技术》的本科生课堂上，永利官网情感计算团队研发的情感机器人WEBO（We Robot）首次公开亮相。WEBO一进入教室，就吸引了在场学生的全部注意力。WEBO外观主要由带有地大特色的蓝白色组成，头顶设计了地大标志——地质锤，并且身上还绘制极具标志性的3044am永利集团3044noc校徽与3044am永利集团3044noc院徽。

图1 情感机器人WEBO自主导航

图2 陈略峰老师与情感机器人WEBO进行交流

首先由研究生李敏对该机器人的基本功能、设计方案与用户界面进行简要说明。情感机器人WEBO具有多模态情感识别功能、语音识别功能，自动循迹避障功能等。情感机器人WEBO最关键的技术是多模态情感识别，共研发了两套系统，包括基于Matlab的多模态情感识别系统和基于Python的多模态情感识别系统。两种多模态情感识别系统都分别从人脸表情、语音、手势三种情感特征出发，既能对各个单模态情感特征进行准确七种基本情感识别，还能通过特征融合方法对于多模态的情感特征进行融合，从而获得更准确的情感识别结果。然后，研究生王宽林对机器人的语音对话功能、自主导航及避障功能等进行了展示。

WEBO所采用的多模态情感识别方法能够同时兼顾不同模态特征之间的相关性和差异性的难点问题，提出了两级模糊融合策略的人脸-语音双模态情感识别算法，该算法分别基于三个正交平面上的局部二元模式与语谱图方法结合卷积神经网络提取双模态情感特征，有效提高了网络的实时性和动态性能，采用典型相关分析和模糊宽度学习算法相结合的两级模糊策略将双模态情感信息进行融合识别，使情感识别更为准确。

图3 同学们上台与情感机器人WEBO进行互动

图4 全体同学与情感机器人WEBO合照

同学们在听完对于情感机器人WEBO的介绍后，纷纷踊跃上台，与情感机器人WEBO进行一场“面对面”的交流。在下课钟声敲响时，大家才依依不舍的结束与情感机器人WEBO的互动。最后，全体师生与情感机器人WEBO进行拍照留念。

通过本学期《智能机器人技术》课程对于情感机器人情感识别与理解方向的学习，同学们对各种情感特征、方法、国内外知名情感机器人等相关知识都有一些基础了解。这次与情感机器人WEBO近距离接触更进一步的激发了同学们对于情感机器人这一领域的探索的兴趣。情感计算团队也将进一步开展基于多模态多维度情感意图理解的研究，并致力于实现和谐顺畅的自然人机交互。