买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种基于多模态强化学习算法的倒水服务机器人控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117162090B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311184535.4，技术领域涉及：B25J9/16；该发明授权一种基于多模态强化学习算法的倒水服务机器人控制方法是由尤鸣宇;苏志成设计研发完成，并于2023-09-14向国家知识产权局提交的专利申请。

本一种基于多模态强化学习算法的倒水服务机器人控制方法在说明书摘要公布了：本发明公开了一种基于多模态强化学习算法的倒水服务机器人控制方法，该方法使用文字、声音和单目RGB图像作为输入，为机器人提供丰富的多模态信息，采用神经网络对多模态信息进行表征、对齐、修正和融合，使机器人能利用强化学习算法快速自学习地完成服务倒水任务，解决了现实生活场景下使用强化学习训练机器人完成倒水任务的以下问题：费时费力且训练过程不稳定、训练模型不健壮、任务完成度不高。并发明可以更加快速地使机器人自学习地学会完成倒水任务，并且更加准确地执行倒水动作。

本发明授权一种基于多模态强化学习算法的倒水服务机器人控制方法在权利要求书中公布了：1.一种基于多模态强化学习算法的倒水服务机器人控制方法，其特征在于，包括以下步骤： S1:构建视觉感知模块：基于单目摄像机获取末端执行器关于场景物体的空间位置信息，并通过卷积神经网络提取RGB图像中的位置信息特征向量； S2：将目标容器属性的文本描述编码为词袋模型； S3：用马尔科夫决策过程对倒水任务进行过程建模，并构建策略控制模块指导机器人学习倒水任务；将得到的位置信息特征向量和目标容器的词袋模型编码输入到所述策略控制模块，输出机器人的控制动作，实时引导机器人完成倒水任务； S4：构建声音修正模块；使用声音信号修正视觉感知模块获取到的空间位置特征向量，获取更加准确的视觉状态信息描述，指导所述策略控制模块快速适应水杯位置和摄像头扰动的环境因素的变化； 在步骤S2中，文本描述以非结构化的形式记录了目标容器的状态、类别、颜色、形状和质感，是对目标物体各属性的人类语言描述，以独热的形式对各个属性进行位置编码，将文本描述提取关键词，使用无序的方式将提取到的关键词对应的值添加到位置编码的各个位置，构成关于目标容器的“词袋”描述是编码长度，由需要描述的属性数量决定；词袋描述是用计算机进行处理对目标容器的结构化描述； 在步骤S3中，将服务机器人倒水任务建模为一个马尔科夫决策过程，构建策略控制模块； 所述策略控制模块的建立方法为： 将倒水过程表述为关于当前时刻状态、机器人动作、下一时刻状态、当前时间步奖励的集合，记为，将策略控制模块使用神经网络进行数学表示； S31：智能体与环境进行交互，通过奖励函数给予智能体反馈，使智能体自学习地学会倒水任务；奖励函数的具体表达形式如下： ； S32：环境的状态表示S为空间特征向量F和词袋描述D的组合； S33：机器人的动作A表示机器人6个关节角度偏移量的向量表示； S34：策略控制模块分为模态融合模块和动作生成模块，所述模态融合模块输入空间特征向量F和词袋描述D，在特征层面对两种模态信息进行融合得到融合后的控制语义向量U； 所述动作生成模块输入控制语义向量U输出机器人的所述动作A； 在步骤S4中，使用听觉传感器获取机器人在进行倒水任务时反馈得到的环境声音，将环境声音进行噪声过滤，并提取声音的梅尔频谱M，使用梅尔频谱M对视觉感知模块的卷积神经网络各个阶段得到的特征图在不同粒度的信息尺度上进行修正； 所述声音修正模块分为声音特征提取模块和声音对图像特征的修正模块； 所述声音特征提取模块输入前3个时间步获取到的数字信号序列，将每段声音用大小为w=1024,步长为s=64的滑动窗口提取梅尔频谱,将三个梅尔频谱时间维度上进行叠加得到梅尔频谱； 所述声音对图像的修正模块由多个修正模块：Modifier构成,每个Modifier的输入都是前一个阶段卷积神经网络得到的特征图,以及梅尔频谱M,Modifier使用梅尔频谱M对特征图做如下修正操作； ； 得到修正后的特征图，其中代表两次卷积操作，将梅尔频谱映射到与当前粒度的卷积图相同大小；*代表hadamard对应位置元素相乘操作；是每个Modifier的修正偏移量； Modifier模块通过跨模态的信息修正从RGB图像获取到的场景物体的空间位置信息特征向量，使得感知模块得到精确的位置特征信息，引导并促进所述策略控制模块指导机器人完成倒水任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。