AVP-SLAM论文阅读笔记

此篇论文由秦通大牛近期发布，《AVP-SLAM系统：基于视觉语义的停车场自主车辆定位与环境建模技术》

主要包含：车道线、停车线以及路面指示标记等语义信息。算法由两个模块组成：地图构建和视觉定位。

地图构建

IPM

输入的图像分别来源于前视摄像头、后视摄像头以及两个侧面摄像头的位置信息；因为所要检测的关键语义特征大多集中在路面区域；研究者在此采用了逆投影变换进行采样；通过融合多角度摄像头捕捉到的画面信息，并计算出对应的广角积分图（IPM），从而构建了一张融合后的广角积分图（IPM）。

\pi^{-1} 被定义为逆投影变换，在几何光学中具有重要的应用价值。omni模型与我们常见的pinhole相机模型存在显著差异，这种差异主要体现在成像原理上。具体而言，关于投影关系的详细说明，请参考这篇论文：Omnidirectional Camera的相关章节。其中[R_c,t_c]则表示相机与车体之间的外参数关系，在实际应用中起到了关键作用。为了提高理解效率，建议采用T_{{body}\_{camera}}这样的统一符号体系进行表示，这有助于避免因符号混淆而导致的理解误差。

IPM变换其实可以理解为有一个虚拟相机从车上面朝下看。

特征提取

这一过程本质上与传统语义分割方法并无显著差异。该研究者采用U-Net架构，在合成IPM图像时实现了每个像素点精确分类。分类结果主要包含车道线、停车位线、指引标志、减速带、空闲区域、障碍物以及墙等元素。观察实验结果以验证方法的有效性如何吧？

局部建图

在本研究中,研究者每隔30米设置一个小的地图,其本质是将原先位于车体坐标系中的语义特征转换至世界坐标系。这种转换并非通过计算完成,而是基于系统内另一个实时更新的里程计来获取车体姿态信息。

此处K_{ipm}即是从顶至下观察虚拟相机所得的内参参数。无需赘述，在此将像素坐标转换至相机平面的工作无需过多解释即可完成。而接下来的那个方程则颇具趣味性。

在这里假设所有语义特征位于同一平面（如地面）。举例说明时，默认只使用单眼视角，并以脚跟为原点建立坐标系。x轴向前延伸用于表示前方方向，y轴向右侧延伸用于右侧方向，并将垂直向上方向定义为z轴。必须满足的前提条件是所有物体都位于同一个平面中。与相机标定过程类似，在该公式中[R_O,t_o]是从其他里程计获取的车体相对于世界坐标系的位姿信息。

回环检测和全局建图

为了提高制图效率并减少路标重叠的问题，在构建地图时作者采用ICP算法计算各局部位姿间的相对关系随后通过基于全局位姿优化的方法进行统一校准这一过程需要精确确定每个局部位置信息其中包含两类约束关系第一类二元约束用于描述局部位间相对位置差异第二类一元约束则用于限制各局部位置与里程计坐标系间的偏差以防止定位漂移现象的发生

语义定位

首先涉及的是IPM与语义分割技术，在自动驾驶系统中具有重要的应用价值。随后使用ICP算法匹配当前局部地图与全局地图之间的对应关系，并根据匹配结果确定车辆相对于全局地图的姿态信息。为此，在这一过程中作者提出了两种不同的初始化方法：第一种方法是将停车场入口位置标记在地图上作为初始化基准点；第二种方法则利用GPS定位技术进行初始化。值得注意的是，在完成上述步骤后还必须结合里程计的数据进行进一步优化以提高定位精度。在实际应用中，则需要考虑特征点数量较少的情况为此，在这种情况下研究者建议将EKF算法应用于这两者的融合过程之中从而实现对位姿信息的有效平滑滤波

参考

AVP-SLAM: A Semantically Enriched Visual Representation for Position Determination in Automated Vehicle Settings Within Parking Structures