图1 主要学术贡献

1、基于Transformer模型与运动微分熵的视觉里程计

  随着自动驾驶技术的迅猛发展，SLAM算法的应用场景已从静态环境扩展至动态环境，传统的视觉SLAM方法多依赖于静态环境假设，在动态场景下易造成相机位姿估计精度下降甚至前端视觉里程计跟踪失败。为解决上述问题，一方面申请人根据当前帧中特征点的运动等级信息自适应判断当前帧是否需要进行语义分割，进而利用Transformer网络实现语义信息的跨帧检测；另一方面根据语义分割网络提供的先验信息以及该对象在先前场景中的运动微分熵值，为每个特征点分配运动等级，将其归类为静态点或动态点，并选取合适的静态点来完成机器人的定位和地图构建，以提高视觉SLAM在复杂动态场景下的鲁棒性。这将极大降低视觉SLAM算法在自动驾驶行业的应用难度，减少由于软件错误识别造成的经济损失，并对提升自动驾驶车辆企业的竞争力产生重要影响。

自2015年起，申请人开展了基于Transformer和运动微分熵相结合的视觉里程计方法研究。如图22所示，在基于Transformer和运动微分熵的特征点运动判断方面取得了重要进展，并设计了相应的软硬件实现方法。

图2 基于Transformer模型与运动微分熵的视觉里程计模型及其应用

2、基于关键帧选取与位姿优化策略的后端优化

  SLAM算法在运行过程中，如果对所有帧图像进行特征提取、匹配和优化处理会消耗大量计算资源，因此需选取特征点丰富或视角更好的关键帧，进行机器人位姿计算。传统视觉SLAM关键帧选取面临一系列问题，一方面当算法面临纹理稀疏场景时，由于获取信息量较少难以确定关键帧的选取，需要通过计算图像颜色布局描述符参数增加关键筛选；另一方面传统的关键帧选取方法在曲线运动拐点附近易出现漏选关键帧问题，使得整体算法缺乏克服曲线运动条件下累计误差较大，以及回环误差修正不完全的能力。如何解决这些问题实现关键帧的准确选取，并保证良好的定位准确性成为视觉SLAM算法亟待解决的问题。

  申请人自2016年起不断对视觉SLAM算法的关键帧选取策略与多帧联合优化进行改进，如图23所示，同时开展了将其应用于自动驾驶领域方面的探索，在关键帧选取策略和定位优化方面取得了重要进展。

图3 基于关键帧选取与位姿优化的后端优化模型及其应用

3、基于混合细胞模型的路径导航方法

  移动机器人自主决策与控制是实现自动驾驶的必备条件，移动机器人须根据具体现场环境变化，在短时间内迅速形成情况判断和运动决策，从而保证系统始终处于有序、高效的运行。传统基于概率方式进行构图与导航存在一系列问题，一方面当移动机器人运行于大规模环境采集信息量丰富，机器人利用大量信息估计位姿信息迭代复杂度较高；另一方面现有的导航方法无法在遭遇障碍物与边界时实现动态适应，难以及时调整运动状态，影响移动机器人后续运动，对自动驾驶的效率和安全产生巨大影响。为了在现实环境中高效运行，移动机器人需要及时自适应调整自身运动状态安全移动，在遇见障碍物与边界时导航方法的高扩展性要求移动机器人避免与行人或其他障碍物发生碰撞，提升运动反馈的适应性。

申请人自2015年开始针对融合鼠脑多细胞的导航模型进行研究，并在该领域取得了多项成果，如图24所示。这些技术的应用将有助于移动机器人在复杂环境中避免碰撞，提升运动反馈的适应性，从而保障自动驾驶的效率和安全。

图4 基于混合细胞模型的路径导航方法模型及其应用