论文阅读笔记 | Active Exposure Control for Robust Visual Odometry in HDR Environment (ICRA17)
Active Exposure Control for Robust Visual Odometry in HDR Environment
-
摘要
-
引言
-
- 相关工作
-
光度响应函数
-
图像质量指标
-
- 基于梯度的指标
- 评估
-
曝光控制
-
- 梯度大小的导数
- 软百分比度量的导数
- 曝光控制方法
-
曝光补偿
-
- 直接图像对齐
- 直接特征匹配
摘要
作者开发了一种主动曝光控制方法，并通过增强视觉里程计在高动态范围（HDR）环境中的稳定性和抗干扰能力来实现其目标。该方法主要通过最大化基于梯度的图像质量度量来确定适当的曝光时间，并利用相机的光度响应曲线进行优化。为了验证该方法的有效性，在不同真实场景中进行了评估测试，并发现其性能优于传统相机内置的自动曝光功能。此外，在实验过程中还采用了最先进的视觉里程计（SVO）算法来处理不同曝光时间设置下的图像数据，并特别关注了他们在具有挑战性的HDR环境下应用后的性能提升效果
We introduce an adaptive exposure control strategy to enhance the robustness of visual odometry in high dynamic range (HDR) environments. The proposed method determines the optimal exposure time by seeking a robust gradient-based image quality metric. Through leveraging the photometric response characteristics of cameras, we achieve effective optimization. The implementation of our exposure control strategy is validated across diverse real-world scenarios, demonstrating superior performance compared to conventional auto-exposure techniques. To evaluate its effectiveness, we integrate a state-of-the-art visual odometry pipeline (SVO) designed to operate efficiently across varying exposure settings and showcase enhanced accuracy when employing our novel exposure management approach in challenging HDR conditions.
引言
相关工作
光度响应函数
在本文中作者使用了1中所提出的光度响应函数。
I = f(X) = f(E \Delta t ) \tag{1}
在每个像素位置上，入射光强度（irradiance）E具体地表征了单位时间内照射到该像素的能量水平。随后定义为在给定的曝光时间内该像素累积接收的能量总量X。接着引入光度响应函数f来建立入射光强度与图像中所呈现亮度值之间的对应关系
值得注意的是函数f(\cdot)是可逆的这一特性成立的基础在于亮度值应当随着光照强度的增加而持续增长，并且这种增长应当保持严格单调性
为了便于后续分析我们可以通过取反过程来定义逆响应函数：
g' = \ln f^{-1}
以及：
\tilde{g}(I) = \ln E + \ln \Delta t
图像质量指标
由于图像质量的标准紧密关联于应用场景的不同需求，在视觉操作（VO）任务中，梯度信息对基于特征和直接方法具有关键的重要性。在此章节中，在线分析系统主要介绍了一系列新的梯度相关性能指标，并通过实验数据分析验证了这些指标的有效性。
基于梯度的指标
G(I,u,\Delta t)表示在点(u,\Delta t)处I的空间梯度范数平方；\Delta I(\cdot)则定义为I对x和y方向的一阶偏导数组成的一个向量，并通过转置获得最终结果。
- 该总和等于所有属于集合I的u_i对应的G(u_i)的总和。
- 该值由两部分组成：当梯度大小大于等于阈值σ时为\frac{1}{N} \log \left(\lambda(\tilde{G}(\mathbf{u}_{i})-\sigma)+1\right)；否则为0。
- 该函数计算集合I中满足条件p的所有u_i对应的G(u_i)的百分位数。
- 其权重由两部分组成：当索引i小于等于地板值p·S时为\frac{1}{N} \sin \left(\frac{\pi}{2 \lfloor p \cdot S\rfloor} i\right)^{k}；否则为\frac{1}{N} \sin \left(\frac{\pi}{2}-\frac{\pi}{2(S-\lfloor p \cdot S\rfloor)} i\right) )^{k}。
其中第三个变量p表示梯度大小小于M_perc的像素占总像素的比例百分比。例如：当p=0.5时,M_perc即为所有梯度大小的中位数
评估
根据作者的评估结果，在采用百分比度量标准的情况下，M_{perc}和M_{softperc}的表现更为稳定地优于M_sum。
曝光控制
梯度大小的导数
2 \nabla \mathrm{I}(\mathbf{u}, \Delta t)^{\top} \frac{\partial}{\partial \Delta t}[\nabla \mathbf{I}(\mathbf{u}, \Delta t)]
\frac{\partial}{\partial \Delta t}[\nabla \mathrm{I}(\mathbf{u}, \Delta t)]=\nabla\left[\frac{\partial}{\partial \Delta t} \mathrm{I}(\mathbf{u}, \Delta t)\right]
\frac{\partial I}{\partial \Delta t} \stackrel{(1)}{=} f^{\prime}\left[f^{-1}(I)\right] E(\mathbf{u})=\frac{E(\mathbf{u})}{\left[f^{-1}(I)\right]^{\prime}} \frac{1}{g^{\prime}(I) \Delta t}
\frac{\partial G(\cdot)}{\partial \Delta t}=2[\nabla \mathrm{I}(\cdot)]^{\top} \nabla\left[\frac{1}{g^{\prime}(\mathrm{I}(\cdot)) \Delta t}\right]
软百分比度量的导数
该软感知知系统的偏导数\frac{\partial M_{\text { softperc }}}{\partial \Delta t}在时间速率\Delta t上的变化率等于各分量的加权求和\sum_{i=0}^{S} W_i^t h_i乘以相应的部分导数之和
曝光控制方法
该时间差\Delta t_{\mathrm{ncxt}}由\Delta t加上系数\gamma乘以函数M_{\mathrm{softperc}}对时间变量\Delta t的偏导数所决定。
曝光补偿
直接图像对齐
\begin{aligned} \mathrm{T}_{r c} &=\underset{\mathrm{T}}{\arg \min } \sum_{\mathbf{u}_{i} \in S}\left[\mathbf{I}_{r}\left(\mathbf{u}_{i}\right)-\mathrm{I}_{c}\left(\mathbf{u}_{i}^{c}\right)\right]^{2} \\ \mathbf{u}_{i}^{c} &=\pi\left(\mathrm{T}^{-1} \pi^{-1}\left(\mathbf{u}_{i}, d_{i}\right)\right) \end{aligned}
在亮度非恒定的情况下
\left\{\mathrm{T}_{r c}, \alpha_{r c}, \beta_{r c}\right\}=\underset{\mathrm{T}, \alpha, \beta}{\arg \min } \sum_{\mathbf{u}_{i} \in S}\left[\alpha \mathbf{I}_{r}\left(\mathbf{u}_{i}\right)+\beta-\mathbf{I}_{c}\left(\mathbf{u}_{i}^{c}\right)\right]^{2}
通过调节曝光时间：
\mathrm{T}_{r c}=\underset{\mathrm{T}}{\arg \min } \sum_{\mathbf{u}_{i} \in S}\left[f\left(\frac{\Delta t_{c}}{\Delta t_{r}} f^{-1}\left(\mathrm{I}_{r}\left(\mathbf{u}_{i}\right)\right)\right)-\mathrm{I}_{c}\left(\mathbf{u}_{i}^{c}\right)\right]^{2}
直接特征匹配
求取\bm u的变化量\delta\bm u使得误差平方和达到最小。
通过同时选择参数\delta\bm u, α, β来实现误差平方和的最小化。
求取\bm u的变化量\delta\bm u使得经过函数f处理后的结果与目标图像一致。
P. E. Debevec and J. Malik, "Obtaining high dynamic range radiometric mappings from photographs" was presented at the ACM SIGGRAPH conference in 2008 (p. 31).