买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学(深圳)高等研究院;电子科技大学申请的专利一种MoE大语言模型在资源受限设备上的推理加速方法、处理装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121660108B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610176039.1，技术领域涉及：G06N5/04；该发明授权一种MoE大语言模型在资源受限设备上的推理加速方法、处理装置、电子设备及存储介质是由王成成;万少华;何浩文;段立新;刘刚;刘旻昊设计研发完成，并于2026-02-06向国家知识产权局提交的专利申请。

本一种MoE大语言模型在资源受限设备上的推理加速方法、处理装置、电子设备及存储介质在说明书摘要公布了：本发明公开了一种MoE大语言模型在资源受限设备上的推理加速方法、处理装置、电子设备及存储介质。本方法包括通过MoE大语言模型对提示词数据进行推理，统计其令牌生成过程中的专家分数，得到专家激活模式；将提示词数据与其对应的专家激活模式作为二元数据对构成数据集，利用数据集对专家激活预测模型进行训练；使用MoE大语言模型对每个推理请求进行初始推理，利用训练后的专家激活预测模型预测每个推理请求在MoE大语言模型各层对应专家激活模式；根据预测对应的激活概率值，从预测得到的专家激活模式中为每个推理请求对应的MoE大语言模型的每一层选取对应的专家，将其一次性预加载到各层中。本发明实现了高效且高质量专家的选择。

本发明授权一种MoE大语言模型在资源受限设备上的推理加速方法、处理装置、电子设备及存储介质在权利要求书中公布了：1.一种MoE大语言模型在资源受限设备上的推理加速方法，其特征在于，包括如下步骤： 通过MoE大语言模型对提示词数据进行推理，统计其令牌生成过程中的专家分数，得到所述提示词数据对应的专家激活模式； 将所述提示词数据与其对应的所述专家激活模式作为二元数据对构成数据集，利用数据集对专家激活预测模型进行训练； 使用所述MoE大语言模型对每个推理请求进行初始推理，利用训练后的所述专家激活预测模型预测每个推理请求在所述MoE大语言模型各层对应的专家激活模式； 根据预测对应的激活概率值，从预测得到的所述专家激活模式中为每个推理请求对应的MoE大语言模型的每一层选取对应的专家，将其一次性预加载到各层中对对应的每个推理请求进行推理； 第i个提示词数据对应的所述MoE大语言模型的第l层的第k个专家分数由如下公式表示： ； 其中，表示对应于专家的路由权重，和分别表示所述MoE大语言模型的每一层上的专家数和所述MoE大语言模型的层数；表示指示函数，若被用于推理生成，则值为1；否则为0；为第i个提示词数据经推理得到的响应输出的长度； 对于所述第i个提示词数据，通过所述指示函数在所述MoE大语言模型不同层上追踪到的专家的专家分数，共同构成所述第i个提示词数据对应的专家激活模式。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学(深圳)高等研究院;电子科技大学，其通讯地址为：518100 广东省深圳市龙华区观澜街道新澜社区观光路1301-78号银星智界二期2号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。