买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京晟世天安科技有限公司申请的专利一种大模型的构建方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121168556B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511330816.5，技术领域涉及：G06N3/082；该发明授权一种大模型的构建方法、装置、设备及介质是由李宁;刘维炜;李克庆;刘景强设计研发完成，并于2025-09-17向国家知识产权局提交的专利申请。

本一种大模型的构建方法、装置、设备及介质在说明书摘要公布了：本发明涉及人工智能技术领域，公开了一种大模型的构建方法、装置、设备及介质，方法包括将目标模型的Transformer权重矩阵进行分块处理，以形成多个子矩阵；将每个子矩阵通过二维Kronecker分解进行低秩近似，得到每个子矩阵分别对应的两个小矩阵的Kronecker积；冻结所有小矩阵的参数，使用LoRA获取所有小矩阵对应的附加参数，以得到二维Kronecker‑LoRA压缩模型；将目标模型作为教师模型，并使用数据集对二维Kronecker‑LoRA压缩模型进行训练，以获得大模型。本发明的方法能够降低现有大模型的参数规模和资源需求，形成适用的大模型，同时有效减少性能损失，实现了高压缩率与高精度的平衡，使得动态推理与图像处理流程深度适配，易于在边缘设备上进行广泛部署。

本发明授权一种大模型的构建方法、装置、设备及介质在权利要求书中公布了：1.一种用于图像处理大模型的构建方法，其特征在于，包括： S1，将目标模型的Transformer权重矩阵进行分块处理，以形成多个子矩阵，其中，获取Transformer权重矩阵中每行的注意力熵值，基于第一阈值以确定Transformer权重矩阵的高熵行和低熵行，根据子矩阵含有高熵行和低熵行的占比，确定子矩阵的大小； S2，将每个子矩阵通过二维Kronecker分解进行低秩近似，得到每个子矩阵分别对应的两个小矩阵的Kronecker积，其中，将子矩阵按照预设Kronecker因子维度进行重排，生成重排矩阵，对重排矩阵进行奇异值分解以获取奇异向量，将奇异向量反重排为Kronecker因子矩阵，组合Kronecker因子矩阵得到两个小矩阵的Kronecker积； S3，冻结所有小矩阵的参数，使用LoRA获取所有小矩阵对应的附加参数，以得到二维Kronecker-LoRA压缩模型，其中，基于每个子矩阵对应的两个小矩阵的Kronecker积，使用LoRA来添加对应的低秩矩阵，并通过训练数据集进行轻量级微调，其中，根据子矩阵含有高熵行和低熵行的占比，确定低秩矩阵的秩数，且低秩矩阵的秩数与高熵行的占比呈正比，将微调后的低秩矩阵作为对应的附加参数； S4，将目标模型作为教师模型，并使用数据集对二维Kronecker-LoRA压缩模型进行训练，以获得大模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京晟世天安科技有限公司，其通讯地址为：100176 北京市大兴区经济开发区科谷一街10号院1号楼10层1003；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。