山东师范大学薛若娟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东师范大学申请的专利句子对语义匹配方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115345171B 。
龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210972611.7,技术领域涉及:G06F40/30;该发明授权句子对语义匹配方法及系统是由薛若娟设计研发完成,并于2022-08-15向国家知识产权局提交的专利申请。
本句子对语义匹配方法及系统在说明书摘要公布了:本发明公开了句子对语义匹配方法及系统,属于自然语言处理技术领域及计算机人工智能领域,本发明要解决的技术问题为如何构造并利用句子对的语境信息来强化句子对交互过程以及如何实现语境信息与句子对的直接交互,从而提高句子对语义匹配的准确性,采用的技术方案为:该方法具体如下:获取句子对语义匹配数据集:从网络上下载已经公开的句子对语义匹配数据集;构建句子对语义匹配模型:基于BilinearTriple‑Attention机制构建句子对语义匹配模型;训练句子对语义匹配模型:在句子对语义匹配训练数据集上对句子对语义匹配模型进行训练。该系统包括数据集获取单元、模型构建单元及模型训练单元。
本发明授权句子对语义匹配方法及系统在权利要求书中公布了:1.一种句子对语义匹配方法,其特征在于,该方法具体如下: 获取句子对语义匹配数据集:从网络上下载已经公开的句子对语义匹配数据集; 构建句子对语义匹配模型:基于BilinearTriple-Attention机制构建句子对语义匹配模型; 训练句子对语义匹配模型:在句子对语义匹配训练数据集上对句子对语义匹配模型进行训练; 其中,BilinearTriple-Attention机制是基于BilinearProductAttention算法实现的一种注意力机制,具体实现流程如下: 1、计算query、key和context之间的相关性得分,具体如下: ①、通过引入一个三阶矩阵对三个输入张量query、key和context进行相乘运算,从而实现三者间的交互计算,公式如下: ; 其中,query表示句子对中的句子1信息;key表示句子对中的句子2信息;context表示句子对联合语境,即,句子1和句子2的拼接表示;、和分别表示输入张量query、key和context;d表示输入张量中的元素下标;D表示输入张量中的元素数量;i和j表示输入张量和的元素下标;i=1,2,…,Ikl;j=1,2,…,Jcl;Ikl和Jcl分别表示输入张量和中的元素数量;是一个shape为DDD的三阶可训练权重张量;、和表示张量之间的执行点积计算的运算符; ②、通过归一化操作得到三者的相关性得分,将其记为,公式如下: ; 其中,i=1,2,…,Ikl;i'=1,2,…,Ikl;j=1,2,…,Jcl;j'=1,2,…,Jcl; 2、特征聚合操作:通过权重矩阵映射后,对两个输入张量value和context进行张量相乘操作来完成句子对联合语境的聚合操作,公式如下: ; 其中,value表示句子对中的句子2信息,其与输入张量key是相同的;与分别表示输入张量value和context;表示通过权重矩阵映射对与进行聚合操作;和为待训练权重矩阵;i和j表示输入张量和的元素下标;i=1,2,…,Ivl;j=1,2,…,Jcl;Ivl和Jcl分别表示输入张量和中的元素数量; 3、点积操作:将步骤1得到的相关性得分张量与步骤2得到的特征聚合表示进行点积操作,从而得到语境强化后的注意力嵌入表示,公式如下: ; 其中,i和j表示和的元素下标;I和J表示输入张量和中两个维度的长度; BilinearTriple-Attention是一种可堆叠的结构,根据具体的任务动态调整层数,记为;depth表示针对具体任务设置的具体层数;、、对应三个输入张量query、key和context;对于输入张量value,即,其与相同; 构建句子对语义匹配模型具体如下: 输入数据:针对数据集中的每一条数据,首先联接两个句子,句子1与句子2中间用间隔符“SEP”隔开,将其作为句子对联合语境,记为context;将句子1序列,记为S1;将所有候选句子2,记为S2;根据当前句子对的语义是否匹配,确定该条数据的标签,即,若匹配,则记为1;否则,则记为0;句子对联合语境序列、句子1序列和候选句子2序列三个文本序列与标签共同组成一条输入数据; 预训练嵌入表示:利用预训练语言模型对输入数据进行嵌入编码操作,从而得到输入数据中的句子对联合语境、句子1和句子2的嵌入表示,分别记为、和;句子对联合语境序列单独使用一个编码模块,句子1序列和候选句子2序列共用一个编码模块;根据不同的输入对象,选择不同层数的输出作为其嵌入表示;公式如下: ; 其中,表示使用预训练语言模型BERT对输入的句子对联合语境序列context进行嵌入编码;下标n表示使用的BERT内部的网络层数;表示句子对联合语境嵌入表示; ; 其中,表示使用预训练语言模型BERT对输入的句子1序列S1进行嵌入编码;下标t表示使用的BERT内部的网络层数;表示句子1嵌入表示; ; 其中,表示使用预训练语言模型BERT对输入的句子2序列S2进行嵌入编码;下标t表示使用的BERT内部的网络层数;表示句子2嵌入表示; BilinearTriple-Attention交互:将句子对联合语境嵌入表示、句子1嵌入表示和句子2嵌入表示作为输入;第一层交互结构基于句子对联合语境嵌入表示对句子1嵌入表示和句子2嵌入表示分别进行交互,以得到第一层句子1交互结果和第一层句子2交互结果,并将其传递给第二层交互结构;同时,使用一层全连接网络对句子对联合语境嵌入表示进行映射,得到句子对联合语境的第一层映射表示,并将其传递给第二层交互结构;第二层交互结构基于句子对联合语境的第一层映射表示对第一层句子1交互结果和第一层句子2交互结果分别进行交互,以得到第二层句子1交互结果和第二层句子2交互结果,并将其传递给第三层交互结构;同时,使用一层全连接网络对句子对联合语境的第一层映射表示进行映射,得到句子对联合语境的第二层映射表示,并将其传递给第三层交互结构;以此类推,多次反复交互以生成第depth层句子1交互结果、第depth层句子2交互结果和句子对联合语境第depth层映射结果; 特征聚合:使用自适应平均池化操作对第depth层句子1交互结果、第depth层句子2交互结果和句子对联合语境第depth层映射表示进行特征过滤操作,并将过滤后的三个特征表示进行联接,从而得到最终的聚合特征表示,将其记为; 标签预测:给予最终的聚合特征表示判断句子对的语义是否匹配;具体如下: 最终的聚合特征表示经过一层维度为1及激活函数为sigmod的全连接网络处理,从而得到一个处于[0,1]之间的匹配度数值,记为y_pred;通过将匹配度数值与设立的阈值0.5进行比较,从而判断句子对间的语义是否匹配;即y_pred≥0.5时,预测该句子对的语义是匹配的;否则,不匹配。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东师范大学,其通讯地址为:250013 山东省济南市历下区文化东路88号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励