Applied Physics Letters, 2023 | Non-line-of-sight imaging with absorption backprojection

本系列旨在以简洁明了的方式介绍解读该领域的最前沿研究成果。

本系列涵盖如Nature/Science等顶级期刊及其子刊；CVPR、ICCV、ECCV等计算机视觉顶级会议；SIGGRAPH、TPAMI等图形学顶级会议；以及Light Science & Applications和Optica等光科学领域的顶尖期刊。

该文深入探讨了基于吸收回投射技术的非视距成像方法。

Applied Physics Letters, 2023 | 非视线成像的吸收反投影技术

背景介绍

非视距成像是当前计算成像领域的重点方向之一；通过研究光线穿过障碍物后的传播途径来恢复隐藏物体的信息，并实现了对障碍物的有效观察。典型的非视距成像系统主要由激光器、中间反射面和目标设备组成。利用光栅扫描技术，在墙上捕捉到各个位置上的光线飞行时间数据，并形成了关于目标三维结构的信息库。这些数据中包含了目标经过三次散射所释放出的能量信号，在算法处理后就能重构出隐藏物体的具体图像信息。

在当前的非视距成像重建技术中, BackProjection算法得到了广泛应用。该方法通过将所有直方图反向投射至物体空间, 从而提升了每个体素的信任度值, 最终生成目标图像。然而, 传统BackProjection算法存在明显的条带状伪影现象, 这一缺陷严重制约了重建图像的质量水平。本研究借鉴天体尘埃吸收原理，在原有BackProjection算法的基础上创新性地提出了吸收型BackProjection新方案。

研究现状

非视距成像算法目前主要包含基于回投射技术、光锥转换技术、频率-时间偏移法以及相位场方法等不同的方法。

• Velten团队最早提出BackProjection算法用于三维非视距成像的实现。随后,研究者在此基础上进行了多项优化,如引入R-L反卷积以改善直方图处理效果,采用椭圆分解技术将图像分解为不同成分,以及通过误差补偿机制实现目标与伪影的有效区分等技术改进。但这些优化方案在实际应用中仍显成效有限,尤其是在噪声干扰较强的环境中表现不够理想。
• 光锥变换通过将光传播建模为光锥形式,能够快速提取场景几何信息,是一种高效的方法。该方法已被扩展至非共焦模式下的定向光锥变换,进一步提升了其适用性。然而,光锥变换需要较长的采集时间以保证精度,且对场景的复杂度较为敏感。
• f-k迁移算法的独特之处在于无需依赖漫反射先验知识而展现出良好的鲁棒性特征,这使得其在实际应用中更加灵活可靠。不过,该方法计算量较大且实时性能有待提升。
• 基于物理原理的方法如相位场重建、干涉测量以及周向镜技术等均展现了较高的重建效果,但这些方法都需要设计专门化的光学系统才能实现应用,导致整体系统复杂度较高。
• 机器学习方法通过大量数据训练建立了非视距成像的空间映射关系模型,但这种模型对训练数据高度依赖且泛化能力有限。

开展研究的动机

BackProjection算法是非视距成像领域内使用最为广泛的处理手段之一,然而其重建效果仍面临伪影问题亟待解决。
通过借鉴天体对尘埃颗粒物的吸收特性，在现有BackProjection算法基础上构建吸积机制,或许有助于降低伪影程度。
为提升重建质量,研发高效且简便的方法仍是一个具有挑战性的研究课题。

使用的方法

BackProjection算法原理

BackProjection算法将所有直方图反向投射到隐藏空间,公式如下:

q = \sum_{i=1}^{N}\sum_{t=1}^{T}s(t,i)\delta(r-ct/2)

其中, q代表像素块的可信度; N表示墙面上的采样点数量; 基于直方图的时间分辨率T被采用; s(t,i)代表第i个采样点在时刻t的计数值; c表示光速; r则表示像素块与墙面之间的长度

该方法会在目标周围生成伪影,如下图所示:

伪影产生的原因

伪影的置信度较低,呈现渐变分布。

吸收BackProjection算法

基于天体尘埃吸收机制, 建立高置信度与低置信度区分下的吸积公式:

Dq_{12} = A\frac{q_1q_2}{r^2}

在定义中, Dq_{12}代表体素间的置信度交换值, 其中两个体素分别具有置信度q_1和q_2, 而r则被定义为此两者的距离, 吸收系数则由参数A进行表示

根据置信度大小,体素间发生吸收,生成新的置信度q'_1,q'_2:

q'_1 = q_1 - Dq_{12} , q'_2= q_2 + Dq_{12} (q_1 < q_2)

再次执行这一流程后,具有高置信度的像素单元能够从周围低置信度的伪影中吸取能量,从而得到经过净化处理的图像,如图所示:

实验结果

作者在模拟和实验中验证了方法的有效性。

模拟实验

对比于BP、滤波BP、误差BP以及f−k迁移算法，在对ABP方法进行性能评估时发现其展现出卓越的重建性能；通过该方法处理后，伪影的影响得到了有效抑制。

计算MSE也证明了ABP的精度优势。

对象	BP	滤波BP	误差BP	ABP	f-k迁移
T	0.192	0.083	0.074	0.051	0.040
人体	0.101	0.019	0.029	0.017	0.016

实验验证

在实验系统中, 激光器和SPAD装置通过20MHz频率的共聚焦成像方法，在墙面进行共轭扫描，并高效地采集并分析三次散射光子的飞行时间分布特征。

结果显示,ABP算法可以有效重建字母的形状,伪影得到明显抑制。

作者还进行了多个字母的实验。首先将飞行时间直方图分解为多个部分，并为每个字母生成对应的体素空间模型；随后将这些模型整合成完整的三维结构。如图所示，在合成后的体素空间中能够较为精确地还原真实场景。

为了验证该算法在非线性模式下的有效性,研究者特意进行了对干扰信号U的模拟实验。研究表明,ABP算法仍然能够有效地处理干扰数据。

创新点与挑战

创新点:

• 参考天体尘埃吸收规律，在基于BackProjection的方法中加入吸收机制。
• 构建一种改进型BackProjection算法，在降低伪影方面表现出显著效果。
• 该算法结构简洁且运算效率高，在提升Back投影重建质量方面表现优异。

挑战:

• 利用BackProjection算法需要隐藏场景物体具备均匀反射特性，在此前提下才能保证边缘区域的置信度较高。
• 相较于无需漫反射先验的f-k迁移算法而言，本方案对物体表面特性有更高的要求。
• 进一步扩展至非共轭模式和复杂场景时，算法性能表现会得到显著提升。

未来展望

借鉴BackProjection算法的技术旨在优化现有BackProjection算法，并为其实现提供创新性的改进方向。未来可以从以下几个方面展开研究和应用：

探索自适应吸收机制,使算法适用于不同反射率的物体。

将方法扩展到非共轭模式以及复杂的多物体场景。

通过整合BackProjection与其他成像方法,构建hybrid系统,充分发挥其优势。

探索吸收BackProjection在其他成像领域中的应用,例如医学成像等。

利用机器学习方法优化吸收系数的设定,提高重建质量。

理论上分析光传输模型,深入揭示吸收机制与非视线成像的内在关系。

总体而言,引入BackProjection算法标志着BackProjection成像的发展进入了新纪元。展望未来,随着深入研究,这一思路有望被广泛采用,从而不断提升非视线成像的重建质量