革命VINS领域 | AB-VINS：深度学习赋能的视觉惯性SLAM系统、高效且鲁棒

AB-VINS是一种新型的视觉惯性SLAM系统，结合了深度学习与传统方法的优势。它通过深度学习技术估计深度图的比例和偏差参数，利用紧凑特征表示和记忆树数据结构加速位姿图优化，从而实现高鲁棒性、高效率和稠密深度信息。系统架构包括主VIO线程、局部映射线程和全局映射线程，分别负责跟踪、局部建图和闭环检测。实验结果表明，AB-VINS在鲁棒性、效率和精度方面均优于现有方法，适用于增强现实、虚拟现实、机器人导航和无人机等领域。

今天为大家介绍一篇新研究：AB-VINS 是一种创新性的视觉惯性SLAM系统，它融合了深度学习与传统方法的优势，展现出显著的性能提升。如您有相关研究或成果 wish to share, we look forward to hearing from you at the end.

读者个人理解

AB-VINS是一种创新性的视觉惯性SLAM系统，它融合了深度学习技术与传统方法的长处。该系统仅估计单目深度图的尺度和平移参数（a和b），并结合了用于多视图信息校正深度的其他若干项，从而实现了紧凑的特征状态。尽管AB-VINS是一种以优化为核心的系统，但其主要VIO核心算法的处理速度显著超越了当前最先进的滤波器方法，同时提供了高密度的深度图。此外，AB-VINS采用了名为“记忆树”的创新数据结构，其中关键帧位姿以相对关系定义，而非全局统一框架，这使得在闭环处理时，AB-VINS只需影响少量变量即可完成。实验结果表明，AB-VINS在鲁棒性和效率方面均不低于当前最先进的VINS系统，且在效率上更具优势。

论文信息

标题 ：Visual-Inertial SLAM as Simple as A, B, VINS

主要贡献

1. 开发了创新性单目视觉惯性SLAM系统AB-VINS
2. 开发了简洁高效特征表示方法AB特征
3. 提出了创新性数据结构：记忆树

方法

AB-VINS 是一种新型单目视觉惯性SLAM系统，它具有以下特点：

核心技术 ：

深度学习 : AB-VINS基于深度学习技术，通过计算深度图中的比例和偏差参数，获得对深度图的精细估计。

紧凑特征表示 : AB-VINS 基于 AB 特征来表示特征位置，这种表示方法仅需少量参数来描述大量特征，从而提高计算效率。

记忆树：AB-VINS 开发了一种独特的数据结构——记忆树，以加速位姿图的优化过程，显著提升了闭环检测的效率。

系统架构 ：AB-VINS 系统主要包括三个线程：

主 VIO 线程 : 负责对目标进行跟踪并构建局部图，通过深度学习方法进行稠密深度估计，并采用 AB 特征进行特征表示。

该线程主要负责将关键帧纳入局部映射窗口，并进行局部姿态图的优化处理，通过记忆树数据结构来加速优化过程。

全局映射线程 : 负责完成闭环检测及全局位姿图的优化，通过NetVLAD和SuperPoint深度网络进行特征匹配，并借助记忆树实现高效的优化过程。

优势

该系统具备高鲁棒性，能够在低运动、IMU 饱和以及存在坏闭环等复杂场景中稳定运行。

高效性 : AB-VINS 的主VIO线程展现出卓越的效率，从而确保了实时性需求的满足。此外，记忆树数据结构显著提升了闭环检测的优化流程。

稠密深度信息 : AB-VINS 能够实现这一技术特征，其在增强现实、虚拟现实以及机器人导航等应用中展现出显著的价值。

应用场景

AB-VINS 可以应用于各种场景，例如：

增强现实 (AR) 和虚拟现实 (VR)

机器人导航

无人机和自动驾驶汽车

实验

AB-VINS 论文通过系统性实验研究，对系统性能进行了全面评估，系统在精度、效率和鲁棒性等方面表现突出。

1. 精度 ：

AR Table 数据集 : 在 AR Table 数据集上，AB-VINS 的位姿精度稍逊色于当前最先进的 VINS 系统，尽管如此，仍能满足 AR/VR 等应用的需求。此外，AB-VINS 的稠密深度估计精度超越了 MiDaS 深度网络，并且能够应用于下游任务。

基于TUM-VI数据集，AB-VINS在位姿准确度上稍逊色于当前最先进的VINS系统，但其闭环检测性能显著优于VIO方法，这表明所采用的记忆树数据结构能够有效提升系统精度。

2D 位姿图数据集 ; 基于该2D位姿图数据集，AB-VINS的记忆树优化算法的精度稍逊于iSAM2，但仍能生成具有合理性的轨迹。

2. 效率 ：

核心VIO线程

该算法在记忆树结构下表现出色，其中top-down方法仅需线性化常数数量的变量以实现目标，同时能在短时间内完成全局位姿的确定。

3. 鲁棒性 ：

低运动场景 : AB-VINS 在低运动场景中能够实现定位与导航目标，而其他系统则无法有效运行。

IMU 饱和 : AB-VINS 能够有效处理 IMU 饱和问题，而其他系统则容易失败。

对于AB-VINS系统而言，其基于robust χ2检验的方法能够准确识别并有效排除坏闭环，从而确保系统的长期稳定运行。

疑问解答

在AB-VINS论文中所提出的AB特征表示法，在与传统稀疏特征点表示法相比时，有哪些长处和短处？这种对比分析有助于更好地理解两者的适用范围和性能差异。

答 ：优点 ：

参数效率 : 通过少量参数捕获大量特征信息，从而有效降低计算负担。

深度估计鲁棒性 : 基于深度学习算法实现的深度估计具有较强的鲁棒性，能够通过引入校正项来抵消深度估计中的误差。

深度信息丰富性 : 该方法能够提供丰富的深度信息，这对于增强现实、虚拟现实和机器人导航等应用至关重要。

劣势 ：
*
精度 : 相较于传统的稀疏特征点表示法，AB 特征的精度稍低于，尤其是在高精度场景中表现得更为明显。
*
**
复杂性 : 在计算过程上较为复杂，需要依托深度学习架构进行深度估计和误差校正项的计算。

在AB-VINS中，Memory Tree数据结构相较于传统的因子图优化方法如何实现更高效的闭环优化？

Memory Tree数据结构基于相对位姿定义、子树移动和top-down优化策略，实现了更高效的闭环优化。从而，AB-VINS能够在计算资源更少的情况下完成闭环检测，并显著提升了系统的实时性。

问3 ：请具体说明AB-VINS在鲁棒性方面有哪些改进措施，使其在面对低激励运动、像素噪声、IMU饱和以及错误闭环等条件下能够稳定运行。

AB-VINS在鲁棒性方面的改进主要体现在以下几个方面，使其能够在低激励运动、像素噪声、IMU饱和以及错误闭环等复杂场景下保持稳定运行。具体改进内容如下：

1. 低激励运动处理方面：

• 初始化阶段：AB-VINS采用了基于单一帧图像的初始化策略，无需依赖初始运动信息即可完成系统 setup，显著提升了系统的启动效率。

• 深度估计技术：通过引入深度学习技术，AB-VINS实现了多帧深度信息的融合，即使在低激励运动场景下也能有效提取深度特征，为后续的运动估计提供了可靠的支撑。

• 多视图融合机制：通过设计特殊的AB特征提取模块，AB-VINS能够有效利用多帧图像信息对深度估计结果进行校正，从而显著提升了系统的抗噪声性能。

2. 深度估计技术优化：针对传统深度估计算法在低激励运动场景下的不足，AB-VINS引入了改进型深度学习模型，能够更高效地提取细粒度的深度信息，从而提升了系统的鲁棒性。

3. 错误闭环处理机制：AB-VINS通过设计特殊的错误闭环抑制模块，有效抑制了系统在复杂环境下的状态发散问题，确保了系统的长期稳定运行。

2. 像素噪声 ：

局部映射优化策略 : AB-VINS 采用了鲁棒的 Cauchy 损失函数，并通过 \chi^2 检验去除噪声较大的特征，从而显著增强系统的鲁棒性。

3. IMU 饱和 ：

IMU 饱和状态检测 : AB-VINS 能够识别 IMU 饱和状态，并动态调整 IMU 测量值的噪声协方差矩阵，从而显著提升系统的鲁棒性。

IMU 饱和处理方案 : AB-VINS 采用了创新的预积分机制，能够有效应对 IMU 饱和问题，确保系统在 IMU 饱和情况下依然保持高性能运行。

4. 错误闭环 ：
robust χ2 检验：AB-VINS 通过 robust χ2 检验识别并排除错误的闭环测量，从而有效防止错误闭环对系统运行的影响。
Memory Tree 优化：Memory Tree 优化算法通过有效处理闭环路径上的关键帧，确保闭环路径的稳定运行。

在经过一系列优化后，AB-VINS通过多种改进手段展现出在各种复杂环境下稳定运行，并展现出很强的鲁棒性。

总结

总结

注 ：今天为大家带来一篇新工作：AB-VINS是一种融合了深度学习与传统方法特色的视觉惯性SLAM系统。如果您有相关工作需要分享，欢迎与我进行交流：cv3d008

本文仅做学术分享，如有侵权，请联系删文。

3DCV技术交流群

我们已成功构建了多个3D视觉方向的社群网络，涵盖2D计算机视觉 、大模型、工业3D视觉 、SLAM 、自动驾驶 、三维重建 、无人机 等细分领域。这些社群致力于提供专业的交流平台，促进技术交流与合作。

2D计算机视觉领域涵盖以下关键技术：图像分类与分割任务、目标检测与跟踪分析、医学成像领域的图像处理技术、基于生成对抗网络的图像增强方法、文本识别与字符识别技术、二维缺陷检测技术、遥感测绘技术、超分辨率重建算法、人脸识别技术、行为识别分析方法、模型量化与剪枝策略、迁移学习方法以及人体姿态估计技术等其他相关技术。

大模型：

工业3D视觉技术包含以下关键技术：相机标定技术、立体匹配算法、三维点云生成、结构光编码、机械臂抓取控制、缺陷检测系统、6D位姿估计方法、相位偏折技术、Halcon图像处理、摄影测量原理、阵列相机成像、光度立体视觉应用等。

SLAM： 视觉型SLAM、激光雷达SLAM、语义理解SLAM、滤波器技术、多源传感器融合、多源标定技术、动态场景SLAM、目标跟踪SLAM、神经网络SLAM、机器人自主导航等。

自动驾驶技术涵盖以下内容：深度估计技术、基于Transformer架构的模型、由毫米波雷达、激光雷达与视觉摄像头组成的多传感器阵列。该系统包含多传感器标定技术、多传感器融合技术，以及综合智能自动驾驶系统等核心技术。此外，涉及的关键技术包括三维目标检测技术、路径规划算法、鸟眼视图感知技术、占用车态感知技术、目标跟踪算法，以及端到端智能自动驾驶系统。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有人才交流 、硬件配置讨论 、视觉方案落地 、学术前沿探讨 、3D技术应用交流 、行业动态分享 等专业交流群。

请将小助理加入，备注内容为：研究方向+学校/公司+昵称（如3D点云+清华+小草莓），并邀请你加入群聊。

▲长按扫码添加助理

3D视觉技术星球

3D视觉入门到精通的学习交流平台，是国内首个专注于3D视觉技术的学习与交流社区。平台汇聚了丰富的学习资源，包括：课程库包含近20门视频课程，总价值超6000元、专业项目对接、系统化学习路线规划、前沿顶会论文与 accompanying code、行业前沿模组、优质源码资源库、专业书籍推荐、编程基础与学习工具支持、实战项目与作业指导、求职招聘与面经分享等等。平台诚邀您加入3D视觉入门到精通的学习社群，共同交流成长。

▲长按扫码加入星球

3D视觉课程官网：www.3dcver.com

基于三维几何建模的智能感知系统集合，包含多种先进三维重建算法，如基于深度估计的点云重建、基于结构光的三维成像、基于相位偏折的高精度成像技术等。系统涵盖机器人感知与控制的关键技术，包括基于机械臂抓取的物体建模、基于BEV感知的环境感知算法、基于多传感器标定的智能定位技术等。系统支持多模态三维数据处理，涵盖结构光、相位偏折、深度估计、无人机仿真等多种感知与处理方式。系统提供丰富的三维重建与点云处理功能，包括基于Open3D的点云可视化、基于Colmap的三维结构解算、基于VINS-Fusion的动态环境建模等。系统支持多平台开发，提供三维视觉C++与Python开发框架，同时支持基于dToF的超声波定位、相机标定、ROS2机器人节点开发、LeGo-LAOM基于LiDAR的定位算法、多模态融合SLAM、ORBSLAM3视觉 SLAM、MVSNet深度估计、LOAM-SLAM与VINS-Fusion的三维重建算法等。系统具备完整的硬件支持，包括结构光扫描仪、相机标定套件、无人机姿态控制等。

▲长按扫码学习3D视觉精品课程