北京理工大学胡耀光获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京理工大学申请的专利一种增强现实环境下虚拟模型三维手势操纵方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115686193B 。
龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211099115.1,技术领域涉及:G06F3/01;该发明授权一种增强现实环境下虚拟模型三维手势操纵方法及系统是由胡耀光;王敬飞;杨晓楠;王鹏;毛婉婷设计研发完成,并于2022-09-06向国家知识产权局提交的专利申请。
本一种增强现实环境下虚拟模型三维手势操纵方法及系统在说明书摘要公布了:本发明公开的一种增强现实环境下虚拟模型三维手势操纵方法及系统,属于增强现实的人机交互领域。本发明包括数据采集与处理模块、虚拟手模块、碰撞计算模块、手势意图识别模块。本发明根据物体抓握物理过程特点和增强现实环境构建“抓握副”条件,基于“抓握副”构建抓握意图识别算法;根据抓握意图识别算法和“抓握副”条件判定为抓握状态,无需基于多个接触点的接触计算来判断是否完成抓握,使抓取意图判断更加灵活,更接近真实三维手势操纵情况,更适应复杂手势交互场景,也更加符合用户直观交互感受,同时,如果存在多对“抓握副”,则多个组成抓握副的接触点都将参与到交互意图识别中,提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感。
本发明授权一种增强现实环境下虚拟模型三维手势操纵方法及系统在权利要求书中公布了:1.一种增强现实环境下虚拟模型三维手势操纵方法,其特征在于:包括如下步骤, 步骤一:采集当前帧双手的图像,基于卷积神经网络双手位姿估计算法确定双手关键节点相对于AR设备的位置和姿态数据;卷积神经网络算法是由两个卷积神经网络组成的由2D到3D双手位姿估计的算法;第一个卷积神经网络被训练用于实现手的定位,估计图像中手中心的2D位置;之后手所在位置局部化图像连同相应的输入深度值一起用于生成归一化裁剪图像,该图像被传递到第二个卷积神经网络实时回归相对3D手关节位置; 步骤二:在当前帧识别的双手关键节点处,叠加虚拟手模型,并根据关键节点位置姿态确定虚拟手模型的位置和姿态,实现真实双手在虚拟空间的映射; 步骤三:基于碰撞检测算法,在每帧实时计算虚拟手模型和其他待被操纵的虚拟模型之间是否发生接触或者碰撞; 步骤四:根据真实物体抓握物理过程特点和增强现实环境构建“抓握副”条件,基于“抓握副”构建抓握意图识别算法;如果步骤三所述基于碰撞检测算法检测到双手和在其他虚拟模型发生接触,根据抓握意图识别算法,计算手和被操纵模型多个接触点之间能否形成“抓握副”,判断是否双手与虚拟模型之间存在抓握情况,“抓握副”由两个接触点组成,如果存在一个以上的“抓握副”,则被抓握虚拟模型被判定为抓握状态; 所述真实物体抓握物理过程特点是应用牛顿刚体力学的基本规律,以抓取对象是否受力平衡和虚拟手模型与被操纵模型的接触面间的摩擦力来判断能否抓取,其实现原理是利用简化的库伦摩擦力模型分析物体的受力状态; 所述的“抓握副”是由符合条件的虚拟手模型和被抓取模型的两个接触点构成的;所述“抓握副”条件如下:两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度,则所述两个接触点将构成一个稳定的抓握副ga,b;所述固定角度即为摩擦角; 所述的抓握意图识别算法是基于“抓握副”条件构建的,循环判断当前所有的接触点是否能与另外一个接触点组成一对“抓握副”;对于一次循环判断中虚拟手与虚拟物体的的任意两个接触点a、b来说,两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度,则所述两个接触点将构成一个稳定的抓握副ga,b;所述的这个固定角度即为摩擦角,即抓握副ga,b应满足 其中,和为接触点a和接触点b的法向量,该法向量为接触点处关节虚拟模型的圆柱表面的法向量;为接触点a和b的连线向量;为摩擦角,摩擦角的值需针对具体被操纵模型经过测试来设定以满足虚拟部件稳定、自然的抓握; 步骤五:根据步骤四构建的“抓握副”条件构建抓取中心获取方法,以获取抓取中心,抓取中心为组成“抓握副”的接触点连线的中心;如果基于步骤四中的抓握意图识别算法判断出虚拟模型在抓握状态,根据操纵意图识别算法,基于双手在被操纵模型上抓取中心的位移和姿态变换,计算双手施加在虚拟模型上的虚拟力或力矩,并以虚拟力或力矩驱动虚拟模型的移动或旋转;所述的操纵意图识别算法,是基于抓取中心的位姿变换趋势来计算出当前帧双手对虚拟模型施加的虚拟力或虚拟力矩,并根据虚拟力或虚拟力矩来计算虚拟模型移动和旋转的参数,所述移动和旋转的参数包括移动方向和距离以及旋转的方向和角度;采用操纵意图识别算法且增加抓取中心判断条件后,使任意个接触点全部参与到操纵意图识别过程,使操纵意图识别更加灵活,并提高操纵意图识别的鲁棒性; 步骤六:重复步骤一至步骤五,根据所述的虚拟手模型、抓握意图识别方法和操纵意图识别方法,在增强现实环境下进行三维手势操纵。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京理工大学,其通讯地址为:100081 北京市海淀区中关村南大街5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励