买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳技术大学申请的专利多模态情绪识别方法、装置、设备、计算机存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117197719B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311249668.5，技术领域涉及：G06V20/40；该发明授权多模态情绪识别方法、装置、设备、计算机存储介质是由彭小江;程泽浜;林钰翔设计研发完成，并于2023-09-26向国家知识产权局提交的专利申请。

本多模态情绪识别方法、装置、设备、计算机存储介质在说明书摘要公布了：本发明公开了多模态情绪识别方法、装置、设备、计算机存储介质，应用于智能识别技术领域，具体包括：从有标签的视频数据中提取有标签的不同模态的信息；对所述特征融合模型进行训练，获得已训练好的特征融合模型；从无标签的视频数据中提取无标签的不同模态的信息；通过已训练好的特征融合模型对所述无标签的特征进行处理；通过已训练好的特征融合模型对所述有标签的数据和选取的伪标签数据进行处理，获得最终识别结果，并输出。上述充分利用了有标签数据和无标签数据的信息，通过预训练模型提取多模态，并通过特征融合模型有效地结合这些特征，可以提高情绪分类的准确性。

本发明授权多模态情绪识别方法、装置、设备、计算机存储介质在权利要求书中公布了：1.一种多模态情绪识别方法，其特征在于，所述方法包括以下步骤： 从有标签的视频数据中提取有标签的不同模态的信息，通过相应的预训练模型对所述有标签的不同模态的信息进行处理，以提取有标签的特征； 以所述有标签的特征作为特征融合模型的输入，对所述特征融合模型进行训练，获得已训练好的特征融合模型； 从无标签的视频数据中提取无标签的不同模态的信息，通过相应的预训练模型对所述无标签的不同模态的信息进行处理，以提取无标签的特征； 通过已训练好的特征融合模型对所述无标签的特征进行处理，生成伪标签，从所述伪标签中选择置信度较高的伪标签的特征，将所述置信度较高的伪标签的特征与相应的伪标签加入到训练集中； 通过已训练好的特征融合模型对所述有标签的数据和选取的伪标签数据进行处理，获得最终识别结果，并输出； 所述不同模态的信息包括图像帧，所述从有标签的视频数据中提取有标签的不同模态的信息的步骤，或者所述从无标签的视频数据中提取无标签的不同模态的信息的步骤，包括： 随机选择视频的一帧图像作为当前训练轮次的输入图像，并进行单张图像的随机掩码操作和恢复操作，以捕捉到每一帧图像中人脸表情的静态特征； 同时采用多个视频帧作为输入，并进行随机掩码操作和恢复操作，以提取视频中人脸表情的动态特征； 所述不同模态的信息包括文本和图像帧，所述从有标签的视频数据中提取有标签的不同模态的信息的步骤，包括： 通过多模态模型CLIP提取文本和图像帧的交叉特征； 所述有标签的数据和选取的伪标签数据分别包括动态特征、静态特征、文本特征、音频特征以及文本和图像帧的交叉特征，所述通过已训练好的特征融合模型对所述有标签的数据和选取的伪标签数据进行处理，获得最终识别结果的步骤，包括： 通过双线性池化模型对所述动态特征、静态特征进行处理，得到融合后的视觉特征； 通过双线性池化模型对所述文本和图像帧的交叉特征和文本特征进行处理，得到融合后的视觉文本特征； 通过Attention模型将所述视觉特征、视觉文本特征和所述音频特征进行处理，得到融合后的最终特征表示； 通过线性层对最终特征表示进行情绪分类，获得最终识别结果； 其中，双线性池化模型通过对输入特征进行双线性投影和分解，将不同模态的特征进行交互，并生成融合后的特征表示； 双线性池化模型通过将不同模态的特征进行乘积操作，捕捉到不同模态之间的非线性关系； 双线性池化模型通过对输入特征进行分解，将高维度的特征表示映射到低维度的空间。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳技术大学，其通讯地址为：518000 广东省深圳市坪山区石井街道兰田路3002号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。