买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院合肥物质科学研究院申请的专利一种多元特征融合的自动驾驶课程强化学习训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115169951B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210885796.8，技术领域涉及：G06Q10/0631；该发明授权一种多元特征融合的自动驾驶课程强化学习训练方法是由梁华为;李志远;章松;王健;周鹏飞设计研发完成，并于2022-07-26向国家知识产权局提交的专利申请。

本一种多元特征融合的自动驾驶课程强化学习训练方法在说明书摘要公布了：本发明公开了一种多元特征融合的自动驾驶课程强化学习训练方法，包括根据训练任务进行全局路径规划，利用车载传感器采集车辆周围环境信息得到交通状态信息向量，并基于弗莱纳坐标系获取车辆当前位置的局部占据栅格图；设计行为决策强化学习的动作空间和奖励函数，搭建深度强化学习骨干网络模型；在自动驾驶的训练过程中根据子任务的难度进行分级，将提取的多元特征输入构建的深度强化学习骨干网络模型中，输出得到离散的最优驾驶行为；根据最优驾驶行为，通过基于采样的多分辨率轨迹规划算法实时生成无人车当前最优轨迹。本发明通过以数据驱动的方式使得自动驾驶汽车自发地学习最优驾驶策略，完成了城市结构化道路环境中的导航任务。

本发明授权一种多元特征融合的自动驾驶课程强化学习训练方法在权利要求书中公布了：1.一种多元特征融合的自动驾驶课程强化学习训练方法，其特征在于，具体步骤包括： 步骤S1、根据训练任务进行全局路径规划，利用车载传感器采集车辆周围环境信息得到交通状态信息向量，并基于弗莱纳坐标系获取车辆当前位置的局部占据栅格图，其具体步骤包括： 设定道路场景和训练任务，使用基于Astar的全局规划算法生成一条车道级别的全局路径，作为训练的全局参考路径； 获取车载设备采集的多传感器数据，对多传感器数据进行数据处理可得到交通状态信息向量，所述交通状态信息向量由自车状态向量和交通环境要素向量组成； 所述自车状态向量表示为[v,γ]，其中v为归一化速度，γ为当前车道内碰撞风险； 所述归一化速度v的计算公式为：v=vegovmax； 其中，vego为自车的速度，vmax为当前车道最大允许速度或者预设最大速度； 则得到自车与前车的安全距离ds，计算公式为： ； 其中，v1为前车的速度，aego和a1分别为自车和前车的减速度，t表示自车的反应时间； 所述当前车道内碰撞风险γ的计算公式为：γ=ddsγmax； 其中，d为自车与前车的实际距离，γmax为实际距离与安全距离最大比值； 交通环境要素向量可表示为[el,ec,er,ll,lc,lr,r,g,b,δ1,δ2]； 其中，[el,ec,er]分别表示左、中、右车道是否存在，[ll,lc,lr]分别表示左、中、右车道上在交通法规下是否允许变道，[r,g,b]表示红绿灯的状态，[δ1,δ2]分别表示到下一路口距离的归一化值，以及到全局路径终点距离的归一化值； 基于弗莱纳坐标系构建局部占据栅格图，将局部占据栅格图中任意一个位置看作横向向量与纵向向量的线性组合； 步骤S2、设计行为决策强化学习的动作空间和奖励函数，搭建深度强化学习骨干网络模型，其具体步骤包括： 设计动作空间：设计具备完成所有目标任务的动作，同时压缩求解空间的维度，得到五维驾驶行为动作A={左换道,右换道,加速,减速,车道保持}； 设计奖励函数：奖励函数主要包括主线稀疏回报和轨迹规划反馈稠密回报； 所述主线稀疏回报R1s为无人车特殊状态下获得的回报，其中主要包括回合终止状态回报r1s与导航任务进度回报r2s，其计算公式分别为： 式中，k1为超参数，v为无人车当前速度； 所述轨迹规划反馈稠密回报将轨迹规划与行为决策进行联合调优，采用行为决策周期内的轨迹规划结果代价的期望值作为C-R映射的输入，其计算公式为： R 2=-k2C-b； 式中，N为当前行为决策周期内已经完成的轨迹规划次数，cn为当前行为决策周期内的第n次轨迹规划结果的代价，k2、b为正超参数； 基于SoftActor-Critic算法搭建深度强化学习骨干网络模型，其中包括一个Actor网络和四个Critic网络； 步骤S3、在自动驾驶的训练过程中根据子任务的难度进行分级，将提取的多元特征输入构建的深度强化学习骨干网络模型中，输出离散的最优驾驶行为，其具体步骤包括： 基于课程任务的难度分级原则对不同难度子任务的数量进行分级，子任务包括全局路线长度、路线弯道、红绿灯状况、其它交通参与车辆，以及与动态车辆交互； 在课程强化学习训练过程中，根据最近20个回合的课程任务完成情况判断是否进行课程调度； 若课程任务成功率达到90%以上，且正规化的均方根NRMSD小于阈值0.1，则完成当前课程学习任务，进入下一课程任务的训练学习； 所述正规化的均方根NRMSD的计算公式为： ； 式中，r’表示回报期望，ri代表第i回合的回报，N为回合的总数； 步骤S4、根据得到的最优驾驶行为，通过基于采样的多分辨率轨迹规划算法实时生成无人车当前最优轨迹，其具体步骤包括： 根据当前的车速在全局参考路径中选取合适的预瞄点，在预瞄点位置沿着全局参考路径的横向方向向两侧采样生成一系列终端状态； 从车辆当前位置到采样的终端状态位置使用三阶贝塞尔曲线生成一条曲率连续的曲线簇，作为无人车当前位置的候选轨迹簇，所述三阶贝塞尔曲线定义为： 其中，Hi为三阶贝塞尔曲线的控制点，Bi为对应控制点的系数，i=1,2,3，参数t的取值范围为0,1； B it的表示式为： 控制点Hi的计算公式为： 其中，Sx和Sy为终端状态相对于车辆自身的横向偏移和纵向偏移，ω为终端状态方向与X轴的相对角度，l是控制点H0和H1之间的距离，同时也是H2和H3之间的距离； 根据得到的轨迹簇，建立一个多属性评估函数来求解代价最小的轨迹作为当前最优轨迹，所述最优轨迹的计算公式为： ； 其中，N表示轨迹集合中的轨迹数目，CjL、CjS,CjD和CjK分别代表轨迹长度、安全评估、横向偏移和曲率平滑代价，λL、λS、λD和λK分别为第j条候选轨迹在轨迹长度、安全评估、横向偏移和曲率平滑代价指标上的权重； 各评估指标的计算公式为： 其中，Lj为第j条候选轨迹的长度，Lmax、Lmin分别代表轨迹集合中候选轨迹的最大长度和最小长度，dmax、dmin分别表示轨迹集合中轨迹与障碍物之间距离的最大值和最小值，dj为第j条候选轨迹与障碍物之间的距离，Dij为第j条候选轨迹中的第i个轨迹点与全局参考路径之间的横向偏移，m为第j条候选轨迹中轨迹点的数目、Djmax为第j条候选轨迹与全局参考路径的最大横向偏移，Kij为第j条候选轨迹中的第i个轨迹点位置的曲率，Kjmax为第j条候选轨迹中的最大曲率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院合肥物质科学研究院，其通讯地址为：230031 安徽省合肥市蜀山区蜀山湖路350号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。