买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京建筑大学申请的专利视觉问答方法、装置、电子设备及计算机可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116414957B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310133271.3，技术领域涉及：G06F16/3329；该发明授权视觉问答方法、装置、电子设备及计算机可读存储介质是由张德;樊昊铭;张昊雨设计研发完成，并于2023-02-18向国家知识产权局提交的专利申请。

本视觉问答方法、装置、电子设备及计算机可读存储介质在说明书摘要公布了：本申请提供了一种视觉问答方法、装置、电子设备及计算机可读存储介质，其中，该方法包括：从目标图像包含的各个实体各自对应的标签中，筛选出与目标问题相关的目标标签；其中，目标问题是与目标图像相关的问题；从目标知识库中提取出目标标签对应的知识文本；通过视觉问答模型中的图卷积网络层对目标图像的视觉特征向量、目标问题的问题特征向量、知识文本的知识特征向量进行特征融合，得到第一融合特征矩阵；通过视觉问答模型中的注意力模块对第一融合特征矩阵和知识特征向量进行特征融合，得到第二融合特征矩阵；根据第一融合特征矩阵和第二融合特征矩阵，预测目标问题的目标答案。通过该方法，有利于提高视觉问答结果的准确性。

本发明授权视觉问答方法、装置、电子设备及计算机可读存储介质在权利要求书中公布了：1.一种视觉问答方法，其特征在于，包括： 从目标图像包含的各个实体各自对应的标签中，筛选出与目标问题相关的目标标签；其中，所述目标问题是与所述目标图像相关的问题； 从目标知识库中提取出所述目标标签对应的知识文本； 通过视觉问答模型中的图卷积网络层对所述目标图像的视觉特征向量、所述目标问题的问题特征向量、所述知识文本的知识特征向量进行特征融合，得到第一融合特征矩阵； 通过所述视觉问答模型中的注意力模块对所述第一融合特征矩阵和所述知识特征向量进行特征融合，得到第二融合特征矩阵； 根据所述第一融合特征矩阵和所述第二融合特征矩阵，预测所述目标问题的目标答案； 所述图卷积网络层包括第一数量个顺序连接的隐藏层；所述目标图像中的每个实体对应各自的实体分割图像，每个实体分割图像对各自的实体特征向量；所述通过视觉问答模型中的图卷积网络层对所述目标图像的视觉特征向量、所述目标问题的问题特征向量、所述知识文本的知识特征向量进行特征融合，得到第一融合特征矩阵，包括： 针对所述目标图像对应的每个所述实体特征向量，将该实体特征向量与所述问题特征向量进行拼接，得到该实体特征向量对应的第一拼接特征向量； 针对每个所述第一拼接特征向量，将该第一拼接特征向量输入至第一非线性激活函数中，得到该第一拼接特征向量对应的联合特征向量； 对所有所述联合特征向量进行拼接，得到拼接矩阵，以通过以下公式，生成无向图邻接矩阵： 其中，A表示无向图邻接矩阵，E表示拼接矩阵，ET表示拼接矩阵的转置； 对所述知识特征向量、所述问题特征向量和所述视觉特征向量的维度进行对齐修正，以使所述知识特征向量、所述问题特征向量和所述视觉特征向量的维度相同； 对维度相同的知识特征向量、问题特征向量和视觉特征向量进行向量拼接，得到第二拼接特征矩阵； 针对所述图卷积网络层中的第一个隐藏层，将所述无向图邻接矩阵和所述第二拼接特征矩阵输入至该隐藏层中的第二非线性激活函数中，输出该隐藏层对应的输出融合特征矩阵； 针对除第一个隐藏层之外的其他隐藏层，将所述无向图邻接矩阵和与该隐藏层相邻的上一个隐藏层输出的输出融合特征矩阵输入至该隐藏层中的第二非线性激活函数中，输出该隐藏层对应的输出融合特征矩阵； 第二非线性激活函数的公式为： 其中，α·表示第二非线性激活函数，n表示第n个隐藏层，n为大于等于1小于等于第一数量的正整数，Hn为第n个隐藏层输出的输出融合特征矩阵；当n为1时，Hn-1为第二拼接特征矩阵；当n大于1时，Hn-1为第n-1个隐藏层输出的输出融合特征矩阵； A表示无向图邻接矩阵，I为单位矩阵，是的对角节点度矩阵，Wn是第n个隐藏层中的可训练参数； 将最后一个隐藏层输出的输出融合特征矩阵确定为所述第一融合特征矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京建筑大学，其通讯地址为：100044 北京市西城区展览馆路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。