动态slam--Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM
Mastering Memory and Forgetfulness: A Lifelong Learning Perspective of Dynamic SLAM
摘要：
图1：在具有挑战性的动态环境下提出了基于持续学习的 SLAM 框架（顶行）。该方法通过联合学习一个分类器来减轻移动物体（中间行）带来的影响，并利用一个神经图将过去的观察结果记忆为神经辐射场（底部行）。通过迭代优化位姿、地图和分类器参数形成了一款强大的 SLAM 系统，在不断变化的开放世界中能够自适应地学习记忆与遗忘。
主要贡献：
- 首次提出了一种在复杂动态环境下集成密集神经SLAM框架的方法。该方法能够实现运动分割、鲁棒的相机定位以及适应环境变化的地图更新。
- 提出了一个自适应学习模块用于更新物体运动状态的分类器，在开放世界场景中表现出色，并通过双向信息传递实现了正反向感知。
- 通过引入遗忘机制优化方法，在动态变化的环境中提升了神经场景表示的能力。
这项工作的核心理念是构建一个通用框架以缓解在动态环境中观察到的结果与存储的地图之间的差异。该框架旨在识别并区分过去的观察结果中的不变特征与可变区域 。通过这种方式，在长期多视图一致性的基础上可靠特征得以保留而动态区域外的错误则通过反向传播机制更新位姿参数和地图参数。在实践中我们采用了持续学习策略即动态训练神经图和运动状态分类器以从连续观察中提取知识并将其压缩到高效网络中。该贴图被设计为场景辐射度的全局存储器而分类器则充当动态对象检测器两个网络的迭代优化共同构成了鲁棒神经SLAM系统的记忆-遗忘循环机制
学习记忆：随着神经SLAM技术的进步，在测试时的地图优化中采用了基于经验回放的方法进行持续学习，并在此过程中显式存储一组关键帧信息以便反向传播误差至网络参数以实现优化目标。这些关键帧信息可被视为对过去经验的一种压缩形式的知识库。在此基础上，在不断重放的关键帧缓冲区中利用梯度优化方法使模型能够记住这些知识内容。
学会遗忘：考虑到神经网络具有强大的适应性能力，在动态变化的过程中过去的知识容易被忘记的可能性较高。因此我们设计了一个框架系统使其能够自适应地遗忘场景中的动态变化内容同时又能保留住那些不变的重要信息点需要注意的是过去的知识状态是由重放的关键帧所决定的所以我们采用分类器来识别出已更改的关键帧区域并以此为基础实现对动态变化的记忆抑制功能一旦环境发生了变化系统就能有效地更新其知识库以适应新的情况随后可以通过更新运动状态并将其传递至相应的关键帧从而强制实现对知识的记忆抑制。
图2. 所提出方法的概述。整合了实例分割组件、视觉编码器以及基于持续自适应的学习机制，并通过精确感知动态物体的行为模式实现了准确的目标识别，在复杂多变的动力学场景中实现了稳定可靠的定位与建模过程。
===
具体详细方法参见论文，个人理解有限paper
===
实验
表 1：ATE (RMS) 与专为动态环境中部署而设计的传统 SLAM 算法的比较。
图7：对比分类器是否持续学习的效果。第二行及第四行反映出分类器在不同时间对第190帧中的动态实例的判断结果。第三行及第五行用于展示渲染效果以体现地图中的变化
图 8：不同类型的视觉编码器设置会影响预测输入帧中被跟踪对象的运动状态呈现不同行为模式。
图 9：先验知识的结合可以在高动态环境下实现更稳健的相机跟踪。
补充材料：
掩模选择策略有助于减少大量不必要的掩模，从而减少对系统的干扰。
映射和跟踪的附加比较结果。