无线感知论文阅读笔记 | TRS 2023, DeepEgo: Deep Instantaneous Ego-Motion Estimation Using Automotive Radar
TRS 2023 | DeepEgo: Deep Instantaneous Ego-Motion Estimation Using Automotive Radar
无线感知论文阅读笔记 | TRS 2023, DeepEego: Instantaneous Ego-Motion Estimation Leveraging Automotive Radar Technology
Abstract
目标
* Study ego-motion estimation with mm-wave radarIntroduce DeepEgo as a solution for achieving robust and precise estimation. The framework employs neural networks to extract feature representations from point cloud data. A weighted least squares approach is utilized to perform motion estimation. Introduce a novel loss function, termed Doppler loss, aimed at accurately localizing interior points.
Experiments * The experiments test the performance of the system on a real-world automotive radar dataset.* These tests demonstrate significant enhancements in system accuracy, stability, and operational efficiency.
1 Introduction
背景 *
高级驾驶系统(ADS)需要实时的自我运动估计
传统的运动估计手段（例如惯性测量单元、车轮编码器以及GPS定位系统）普遍面临挑战 \Rightarrow 通过引入其他先进传感器技术（包括摄像头、激光雷达、合成孔径声纳、扫描雷达以及汽车雷达）来实现动态环境下的实时运动感知
汽车雷达具有一定优势
适用于多种天气状况及光照环境，并对边缘模糊或线状遮挡具有较好的鲁棒性，在轻量化设计上表现突出且具备较低的成本。该方案在体积紧凑且结构紧凑的前提下实现了良好的性能表现。
虽然汽车雷达在技术上具有显著的优势；然而它仍然面临诸多挑战；例如缺乏足够的几何特征；假阳性案例增多；检测不够全面；雷达散射截面的变化难以预测；以及多径反射和互相干扰等问题。
本文：DeepEgo *
以神经网络为基础的端到端的人工智能自 motion estimation系统方案有效地解决了challenging data association tasks.
提出了一种混合方法：
🚩 神经网络学习如何加权雷达点云中的每个点
🚩 加权最小二乘法(WLS)用于计算最终的估计结果
提出了一种新颖的损失函数: 多普勒损失
🚀 多普勒损失能够实现网络对雷达回波数据的自动解析与处理，
从而省去了人工标注的传统方式，
这在稀疏场景下特别重要 \Rightarrow key to WLS performance
实验
🚀 基于高质量的汽车雷达数据集RadarScenes，在对比实验中与6个基准线方法进行比较
🚩 Improves accuracy by over 50%
章节安排 * section 2: related work
* section 3: design details of the proposed method
* section 4: performance of the proposed method
* section 5: ablation study
* section 6: conclusions and future studies
2 RELATED WORKS
使用汽车雷达进行自我运动估计 * ICP and NDT are examples of early iterative matching methods, each with their own set of challenges; * Kellner et al. introduced a single-frame estimation method based on the radial velocity profile; * However, the Kellner method faces difficulties in parameter tuning and fails to fully leverage additional radar data.*
点云深度学习
基于图像投影的方法破坏了点云结构
体素化方法在计算资源和内存消耗方面存在显著挑战
基于点的方法（如PointNet）可以直接处理高维稀疏雷达点云数据
本论文：
It is more appropriate to consider point-based methods when maintaining accurate geometric configurations, particularly in analyzing automotive radar data streams.
3 METHODOLOGY
A. Problem Statement
本文研究的是多维雷达点云数据集 P^{J×M}_{t,n}, 其中 t 表示雷达扫描的时间戳,** n ** 代表雷达的索引值,具体地,** J ** 表示被检测到的点的数量,最后,** M ** 则代表了每个点云数据中特征向量元素的数量
车辆运动状态： e_c = [v^c_x, v^c_y, \omega^c] *
以车辆质心为原点建立二维坐标系，在该坐标系中：
x轴指向与车辆行进方向一致，
y轴垂直于车辆行驶方向。
* $v^c_x$ 距离方向速度
* $v^c_y$ 横向速度
* $\omega^c$ 旋转速度
* $c$ 测试车辆汽车雷达布置n个布置点，并采用坐标表示法定位各个布置点的位置：布置点位置由三个参数确定：(x^{C}_n,y^{C}_n,\theta^{C}_n)；其中x^{C}_n表示该点至x轴的距离；同理， y{C}_n表示该点至y轴的距离；而$\theta{C}_n则代表该布置点相对于车辆坐标系中的方位角
雷达基于其自身与检测对象之间的相对运动状态 \Rightarrow 可实现车辆坐标系中的自我运动信息映射至雷达坐标系中
- 坐标转换 *
对于雷达坐标系,通常假设x轴方向与雷达的视线方向一致
雷达n的2D运动状态：e_n = [v^n_x, v^n_y, \omega^n]
✅ v^n_x 距离方向速度
✅ v^n_y 横向速度
✅ \omega^n 旋转速度
\omega_n = \omega_c: 刚体上的所有点经历相同的角速度
因此， 运动状态e_c和e_n之间的转换可以表示为：
\left[\begin{array}{c}v_x^{\mathbf{n}} \\ v_y^{\mathbf{n}} \\ \omega^{\mathbf{n}}\end{array}\right]=\left[\begin{array}{ccc}\cos \left(\theta_{\mathbf{n}}^c\right) & \sin \left(\theta_{\mathbf{n}}^c\right) & 0 \\ -\sin \left(\theta_{\mathbf{n}}^c\right) & \cos \left(\theta_{\mathbf{n}}^c\right) & 0 \\ 0 & 0 & 1\end{array}\right]\left[\begin{array}{ccc}1 & 0 & -y_n^c \\ 0 & 1 & x_n^c \\ 0 & 0 & 1\end{array}\right]\left[\begin{array}{c}v_x^{\mathbf{c}} \\ v_y^{\mathbf{c}} \\ \omega^{\mathbf{c}}\end{array}\right] 等式1
可见：如果可以估计雷达的运动状态,则可以获得车辆的自身运动
雷达运动状态估计 ：基于观测到的静态目标，通过测距仪获取其径向速度与方位角数据序列以实现
* 给定雷达点云$P^{J×M}_{t,n}$
* $M \geq 2$: 包含径向速度和到达角测量
* 点云中第$j$个检测点$p_j$的径向速度和到达角: $p_j = [d^n_j, \alpha^n_j]$,单位为{m/s,弧度}
* 假设所有$J$个检测点都来自静止物体,则雷达运动状态与径向速度测量之间的关系可以表示为: $\left[\begin{array}{c}d_1^{\mathbf{n}} \\ d_2^{\mathbf{n}} \\ \vdots \\ d_J^{\mathbf{n}}\end{array}\right]=-\left[\begin{array}{cc}\cos \left(\alpha_1^n\right) & \sin \left(\alpha_1^n\right) \\ \cos \left(\alpha_2^n\right) & \sin \left(\alpha_2^n\right) \\ \vdots & \vdots \\ \cos \left(\alpha_J^n\right) & \sin \left(\alpha_J^n\right)\end{array}\right]\left[\begin{array}{c}v_x^{\mathbf{n}} \\ v_y^{\mathbf{n}}\end{array}\right]$
* 所有径向速度测量的向量表示为$D$,径向速度投影矩阵的负表示为$A$,$v^n_x$和$v^n_y$的向量表示为$V$ **$\Rightarrow$** $D=A \cdot V$结论： *
1 假设存在至少两个独立的检测装置（即J≥2），则可采用标准回归技术（例如最小二乘法）用于计算vⁿₓ和vⁿᵧ。
✅ V_{est} = (A^T A)^{-1} A^T D
❌ 最小二乘法对异常值非常敏感
❌ radar PCD中异常值常见
2 假设车辆在纵向运动中速度为零（即无横向运动），已知基于雷达测得的速度分量及位置参数 v^n_x, v^n_y, 和 [x^c_n, y^c_n, \theta^c_n]，通过公式（1）可推导出车辆自身的运动参数：
基于上述分析可知：
v_x^\text{C}=v_x^\text{N}\cdot \cos (\theta_\text{N}^\text{C})-v_y^\text{N}\cdot \sin (\theta_\text{N}^\text{C})+\omega^\text{C}\cdot y_\text{N}^\text{C}
其中，
\omega^\text{C}= [ v_y^\text{N}\cdot \\ \tan (\phi_\text{s}/2) - v_x^\text{T}/(r_\alpha)\cdot (1-\tan (\phi_s/2)) ]
为了解决问题：如何尽可能精确地估算 v^n_x 和 v^n_y ，考虑到存在异常值的雷达点云
B System Architecture
系统架构
- 输入: 基于雷达点云构建的多维张量P^{J×M}_{t,n}
- DeepEgo:利用神经网络从雷达点云提取特征, 计算各点之间的权重关系及位移量
- 基于加权最小二乘法与网络结合的方式输出 运动参数
- 输出: 运动参数
DeepEgo网络结构 * 通过共享MLP模型表示点云特征 * 融合局部与全局特征有助于提升预测准确性 * 同时预测点之间的权重以及位移
点间权重的意义：主要作用在于显著地降低异常值对拟合结果的影响。
点间偏移的意义：进一步降低远端异常值所导致的误差影响。
C Loss function
该损失函数由运动失真、多普勒失真以及样本权重组成。其中：
- 运动失真用来评估估计值与真实值之间的差异；
- 多普勒失真则通过真实运动信息来优化网络对各个点的学习权重；
- 样本权重进一步降低了对异常训练样本的影响程度。
运动损失： *
Loss_{Motion} = \frac{1}{B}\sum_{b=1}^{B}\|V_{gt}^b - V_{est}^b\|^2
仅使用运动损失进行训练的一个直接后果：
✅ 模型倾向于在少数几个点(异常值)上过拟合,而忽略许多内点
多普勒损失 估计基于测量得到的径向速度与预期值之间的差异。
根据假设认为测量误差服从均值为零的高斯分布。
检测点位于内部区域时的点间似然度定义如下：W_{gt}表示基于高斯分布的概率密度函数：
W_{gt} = \frac{1}{\sigma\sqrt{2\pi}} \cdot \exp\left(-\frac{(D_{err}-0)^2}{2\sigma^2}\right)
采用均方误差（MSE）作为评估多普勒损失的标准。
❌ 前提假设: 即所有检测到的静止物体的径向速度测量都遵循等式2
为了降低'坏'训练样本对模型性能的影响,本文提出了一种针对每个训练数据的单独施加权重的方法
具体分配策略
总loss * Loss_{all} = (Loss_{Motion} + \mu \cdot Loss_{Doppler}) \cdot S
D Implementation Details
Shared MLP * 负责对点云进行特征编码与解码
-
由多个全连接层以及批归一化组成
-
激活函数采用ReLU
Data processing *进行固定点数的重新采样
-
对点云数量过少的部分进行删除处理
-
对径向速度和到达角以外的关键特征进行归一化处理
The network architecture incorporates a combination of mini-batch gradient descent and the RMSProp optimization algorithm to ensure efficient learning. The training dataset is partitioned such that 20% of the available data will be reserved exclusively for validating the model's generalization capability. Training will terminate once the validation loss has ceased to decrease, ensuring that overfitting is mitigated effectively.
Multiple radars * Each radar needs separately trained network copy
4. RESULTS AND DISCUSSIO
A Radar Dataset
雷达数据集 * 基于RadarScenes真实世界数据集
- 包含4个汽车雷达在各个不同场景中的记录
- 选择车辆行驶距离达到500米以上的序列
数据统计 * 特意选择了64组连续的数据序列
- 累计行驶里程达79公里以上
- 输入特征由四个维度构成：包括到达角、运行速度、行驶距离以及返回功率。
B. Evaluation Metrics
评估标准：该方法通过计算估计值与真实值之间的姿态均方根误差（RMSE）来进行评估。分别用于衡量平移误差和旋转误差。该方法通过计算轨迹段终点之间的距离均方来评估长期漂移稳定性。
APE * 明确显示了该测试方法的估计准确性
- 该测试方法未能有效反映漂移效应,潜在的大误差可能被忽略不计
RTE * 通过将轨迹分段并计算段间终点距离
- 评估测试方法在预定距离上的漂移稳定性
C. Selected Methods for Comparison
现有的对比方法中最早采用NDT技术的是Biber。随后是Kellner,他采用了基于方位角和速度轮廓的实时定位技术,该技术具有较高的计算效率和定位精度。接着是Rapp,他提出了优化版的NDT定位方案,在保持原有原理的基础上进行了改进,显著提升了定位算法的速度与可靠性。随后是Lu的研究,他专注于利用深度学习技术实现雷达信号精确配准,这种方法在复杂环境下的鲁棒性有了显著提升。最后是Heller的工作,他将传统的NDT技术扩展到了三维极坐标系中,这不仅提升了算法的空间分辨率,还实现了更高的计算效率
采用一种评估或比较4种NDT方法分数函数的方法。
其中Rapp的方法更有可能收敛到全局最优。
基于上述分析结果可知, 因此建议选择Rapp作为最具有竞争力的NDT方法。
D. Results of Comparison With SOTA Methods
用于比较的五个场景 * 覆盖了各种天气、交通和道路类型条件
Translation velocity estimation * Lu method performed the weakest*
- Kellner method was optimal*
- The proposed method outperformed Kellner by 37.9%
Rotation velocity estimation * 侧视雷达更敏感
* 所提方法优于最新状态 38.8%
长久稳定 RTE 对不同间距进行分析；所述方法在 RTE 方面表现最优；Kellner 方法同样表现出色。
Runtime * Rapp method is relatively time-consuming and requires optimization efforts.
- Lu method is efficient but involves a substantial network scale.
- The proposed approach achieves the highest efficiency without the need for iterative adjustments.
Visualized trajectories * Lu and Rapp method exhibits a notable deviation.
Kellner's method demonstrates a satisfactory performance.
Our proposed approach represents the optimal solution, particularly excelling in side-looking radar applications.
E. Further Results on All Data
全数据集结果 * 采用了64个序列进行测试,平均运行距离达到79公里以上
- 与现有Kellner方法相比
- 所提出的方法在各项关键指标上均显著优于现有Kellner方法
误差评估：绘制估计误差分布的频率直方图。
在直行过程中（即旋转速度接近零）：观察到估计误差主要集中在零速区域。
所提出的方法在高速和快速转向过程中表现出较低的误差水平。
✅ 这对行车安全更重要
5. ABLATION STUDY
A. Ablation Study on Input Features
- 加权训练数据提高性能
- 避免模型仅依赖几个关键点
B. Effect of Pointwise Offset
- 减少离群点的影响
- 改善估计精度和长期稳定性
C. Effect of Doppler Loss
- 引导机制重视准确的测量方案。
- 引入更多指标以提升系统的鲁棒性能力。
- 系数为不同领域提供支持。
6 CONCLUSION
Summary of paper *
Propose DeepEgo for radar ego-motion estimation
✅ Hybrid architecture: NN feature extraction + WLS estimation
✅ Can directly process multi-dim point clouds, end-to-end trainable
✅ Provides pointwise weights associated with motion
Outperforms others on real dataset
Future work Currently focuses on single-sensor setups. May investigate sensor fusion techniques. Might enhance system resilience across various installation scenarios.