买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150216B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410949698.5，技术领域涉及：G06F18/25；该发明授权一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法是由孙林慧;苏继绮;王静;李平安;叶蕾设计研发完成，并于2024-07-16向国家知识产权局提交的专利申请。

本一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法在说明书摘要公布了：本发明公开了一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法，步骤包括：首先，对语音和文本进行编码提取深度特征，然后基于本发明提出的基于Transformer的模态内感知模块，捕获各个模态内部的长距离依赖关系，实现情感特征的局部感知学习，降低深度特征中的冗余信息；其次，为了融合未对齐的多模态序列信息，充分利用不同模态信息的互补性，本发明提出基于Transformer的模态间交互融合模块来捕捉不同模态间信息依赖关系，获得融合后的多模态全局信息；最后，进行了消融实验，验证了该方法的有效性。本发明实现了对多模态情感识别的有效并行计算，进一步提高多模态情感识别系统的识别性能和泛化能力。

本发明授权一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法在权利要求书中公布了：1.一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述该方法包括如下步骤： 步骤1：对原始输入的语音、文本和视频模态分别进行浅层特征提取； 步骤1-1：将每条文本数据通过Bert子网络，获取1024维话语级文本特征向量； 步骤1-2：将每条语音数据通过OpenSMILE工具包，采用“IS13ComParE”配置进行特征提取，获取130维话语级语音特征向量； 步骤1-3：将每条视频数据通过DenseFace子网络，获取342维话语级视频特征向量； 步骤2：将所提取的各浅层特征输入到深度编码网络提取深层特征； 步骤3：将深度编码后的语音特征、文本特征和视频特征输入到三模态Mamba交互模块，通过不同模态信息之间的交互融合，获取到经过第一阶段互补增强后的主模态增强特征； 步骤4：将第一阶段增强后的主模态增强特征输入到三模态Mamba交互模块，通过不同模态信息之间的交互融合，获取到经过第二阶段互补增强后的主模态增强特征； 步骤5：将第二阶段增强后的主模态增强特征输入到三模态Mamba交互模块，通过不同模态信息之间的交互融合，获取到经过第三阶段互补增强后的主模态增强特征； 步骤6：将深度编码后的语音特征、文本特征和视频特征以及经过第一、第二、第三阶段增强后的主模态增强特征联合并通过级联分层融合机制得到最终的多模态情感特征，然后将最终的多模态情感特征输入到情感分类器进行情感预测； 步骤7：对所提出的一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法进行性能评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210023 江苏省南京市栖霞区亚东新城区文苑路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。