西北工业大学杨笑天获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于双层优化的无参嵌入遥感多模态图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121639492B 。
龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610167722.9,技术领域涉及:G06T5/50;该发明授权一种基于双层优化的无参嵌入遥感多模态图像融合方法是由杨笑天;张作伟;何竞爽;申瑞;杨才兴;孙柯设计研发完成,并于2026-02-05向国家知识产权局提交的专利申请。
本一种基于双层优化的无参嵌入遥感多模态图像融合方法在说明书摘要公布了:本发明属于图像融合领域,本发明公开了一种基于双层优化的无参嵌入遥感多模态图像融合方法,包括:步骤1:生成可见光基础卷积核和红外基础卷积核;步骤2:得到可见光新卷积核和红外新卷积核;步骤3:得到可见光特征和红外特征;步骤4:生成语义关注特征并通过解码输出最终融合图像;步骤5:将融合知识蒸馏至VisionTransformer子网络,使得VisionTransformer子网络完成图像融合;本发明通过动态调整卷积核来适应不同的空间分辨率和图像大小,从而增强了空间适应性;并采用分辨率对齐策略重新校准位置嵌入向量,以保留关键标记特征;在无需修改底层网络架构的条件下就能够无缝处理各种遥感数据,同时保持其完整性,并能兼容不同传感器的多光谱数据。
本发明授权一种基于双层优化的无参嵌入遥感多模态图像融合方法在权利要求书中公布了:1.一种基于双层优化的无参嵌入遥感多模态图像融合方法,其特征在于,包括: 步骤1:将可见光全色遥感图像和红外遥感图像的各通道中心波长分别进行编码和非线性变换得到精细嵌入向量,将所述精细嵌入向量与可学习查询向量通过Transformer模块融合后,再经全连接网络映射并重塑生成可见光基础卷积核和红外基础卷积核; 步骤2:利用构建的双线性插值伪逆变换,将所述可见光基础卷积核和红外基础卷积核的分辨率变换为目标分辨率,进而得到目标尺寸的可见光新卷积核和红外新卷积核; 步骤3:根据输入的可见光全色遥感图像和红外遥感图像,利用所述可见光新卷积核和红外新卷积核分别通过VisionTransformer子网络得到可见光特征和红外特征; 步骤4:将所述可见光特征和红外特征输入多模态图像融合主网络,分别利用红外特征和可见光特征作为各自的键值对来源计算红外交叉注意力和可见光交叉注意力,将所得特征进行通道维度拼接生成可见光红外融合特征;进而将所述可见光红外融合特征与来自可见光全色遥感图像和红外遥感图像的基础特征进行拼接生成语义关注特征,并通过解码输出最终融合图像; 步骤5:基于特征层蒸馏与输出层蒸馏相结合的双层优化蒸馏框架,将所述多模态图像融合主网络输出的最终融合图像的融合知识蒸馏至VisionTransformer子网络,使得所述VisionTransformer子网络完成图像融合; 所述步骤1具体为: 步骤101:将可见光全色遥感图像和红外遥感图像的各通道中心波长分别进行编码,得到高维可见光位置嵌入向量和高维红外位置嵌入向量; 步骤102:对所述高维可见光位置嵌入向量和高维红外位置嵌入向量分别进行非线性变换,生成可见光精细嵌入向量和红外精细嵌入向量; 步骤103:将所述可见光精细嵌入向量和红外精细嵌入向量分别按光谱波长递增顺序编码为光谱序列特征,然后通过Transformer模块将可见光精细嵌入向量和红外精细嵌入向量分别与可学习查询向量融合,再经全连接网络映射并重塑,生成可见光基础卷积核和红外基础卷积核; 所述双层优化蒸馏框架的优化函数为: , 其中,为VisionTransformer子网络的权重;为多模态图像融合主网络的蒸馏损失;为多模态图像融合主网络;为可见光全色遥感图像,为红外遥感图像,为VisionTransformer子网络生成的可见光特征;为VisionTransformer子网络生成的红外特征,为多模态图像融合主网络的权重,为训练VisionTransformer子网络的蒸馏损失,为VisionTransformer子网络。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励