买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于生成式预训练语言模型的联想文本到图像生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115393692B 。

龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211095848.8，技术领域涉及：G06T11/60；该发明授权基于生成式预训练语言模型的联想文本到图像生成方法是由鲍秉坤;盛业斐;陶明;谭智一;邵曦设计研发完成，并于2022-09-08向国家知识产权局提交的专利申请。

本基于生成式预训练语言模型的联想文本到图像生成方法在说明书摘要公布了：本发明公开了一种基于生成式预训练语言模型的联想文本到图像生成方法，包括：基于数据集对生成式预训练模型进行微调，让预训练模型获得语义保留度好已有文本信息，得到微调后的预训练模型；将原始数据集中每张图像对应的十个句子作为微调后的预训练模型的输入，得到模型输出的生成数据集；对生成数据集进行约束处理和语义保留度评估选择，得到联想文本数据集；基于所述联想文本数据集，利用基于DF‑GAN的对抗生成网络模型，生成在文本图像跨模态语义特征上一致的图像。本发明综合利用生成式预训练模型的联想能力和丰富的语义信息，一定程度上平衡了了对抗生成网络在文本到图像跨模态生成任务上文本信息和图像信息不均衡的问题。

本发明授权基于生成式预训练语言模型的联想文本到图像生成方法在权利要求书中公布了：1.一种基于生成式预训练语言模型的联想文本到图像生成方法，其特征在于，包括： 步骤S1、基于数据集对生成式预训练模型进行微调，让预训练模型获得语义保留度好已有文本信息，得到微调后的预训练模型； 步骤S2、将原始数据集中每张图像对应的十个句子作为步骤S1获得的微调后的预训练模型的输入，得到模型输出的生成数据集；对生成数据集进行约束处理和语义保留度评估选择，得到联想文本数据集； 步骤S3、基于步骤S2获得的所述联想文本数据集，利用基于DF-GAN的对抗生成网络模型，生成在文本图像跨模态语义特征上一致的图像； 所述步骤S1包括： 步骤S11：获取数据集，将数据集中每张图像对应的十个句子编排成句子串，包括：数据集中包括多张图像，每一张图像对应十个句子；将每张图像对应的十个句子按以下规则编排成句子串：句子串编排如下：“$句a#句b#句c#...#句9#句10$”；句子串分为两个部分：第一部分为随机初始化，句a，句b，句c为随机从一张图像对应的十个句子中初始化的三句话；第二部分则为剩下句子的顺序拼接，其中“#”、“$”分别为分隔符和起始符，GPT-2生成结构化的句子串，分隔符便于拆解生成的句子串，起始符用于防止模型生成过长或者过短的句子串； 步骤S12：将数据集的句子串输入预训练模型进行训练、微调得到微调后的预训练模型，包括：所述预训练模型为GPT-2模型；所述GPT-2模型的训练、微调方法包括：设给定输入的一个句子串表示为句子序列[x1,x2,...,xm]，m为句子串中第m个句子；GPT-2模型在预训练、微调时的损失函数分别为L1X和L2x，公式如下： 其中预训练损失函数L1X采用最大似然函数，P表示条件概率，Θ为的神经网络建模参数；i为0,1…k的遍历取值；k小于m，为滑动窗口的大小； 微调的过程采用的是有监督学习，训练样本包括句子序列[x1,x2,...,xm]和以第一个句子x1作为类标label；GPT-2模型微调的过程中根据句子序列[x1,x2,...,xm]预测类标label，即为L2X； 优化函数L3为L1和L2的加权和：L3＝L2+λL1，其中λ为超参数，L1和L2分别为GPT-2模型在预训练、微调时的损失函数； 步骤S2中，对生成数据集进行约束处理，包括：采用就近原则、格式正则化和句子选择对生成数据集进行处理；对生成数据集进行语义保留度评估选择，包括： 采用bleu指标对生成数据集进行评估，其中bleu指标包括同一种类别中不同姿势不同背景的样本bleua、区别较大的不同类别其中的样本bleub和视觉特征近似但是属于不同类别其中的样本bleuc： Candidates表示生成数据集的句子，reference为原始数据集中的句子，Count表示计数，Countclip表示分子截断计数，n-gram表示出现在reference中的candidates中衡量的连续单词个数,n-gram’表示candidates中衡量的连续单词个数，c,c′为同时从数据集中选取的衡量的句子数量；∑c∈candidates、∑c′∈candidates表示包括所有candidates；∑n-gram∈c、Σn-gram′∈c′表示计算候选变量中的所有匹配的句子数量，并表示reference中特定变量的个数；Countclipn-gram表示出现在reference中的candidates中匹配的句子数量；Countn-gram′表示n-gram′在candidates中匹配的句子数量； 分别计算生成数据集与原始数据集的三个指标bleua、bleub和bleuc； 生成数据集与原始数据集的三个指标的比值一致，则表示三个指标都和原始数据集语义一致，将和原始数据集语义一致的生成数据集选择为联想文本数据集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。