Nature Comm., 2023 | Non-line-of-sight Imaging with Arbitrary Illumination and Detection Pattern
注1：本文属于“计算成像最新论文速览”系列中的一篇介绍文章。该系列旨在简洁明了地介绍和解析非视距成像领域的最新研究成果（涵盖Nature/Science等顶级期刊及其子刊、CVPR、ICCV、ECCV、SIGGRAPH、TPAMI等）。
我们此次介绍的论文标题为Nature Communications 2023年发表的《Non-line-of-sight Imaging with Arbitrary Illumination and Detection Pattern》。
背景介绍
在计算机视觉与机器人学领域中，非视距(NLOS)成像技术是一个极具重要性且备受关注的研究方向。其目标在于通过障碍物（如墙、门、窗等）反射的方式重建被遮挡物体的形状，在此基础上实现了多用途应用包括机器人视觉、自动驾驶以及救援行动等领域的重要支撑作用。然而，在现有研究中发现这些NLOS成像算法往往依赖于在较大区域内布置密集的中继表面以完成测量工作
为了有效解决这一问题,Liu及其团队于2023年在《Nature Communications》期刊上发表了题为"基于贝叶斯框架的任意照明与探测模式下的非线-of-sight成像"的重要研究论文。该研究提出了一种新型非线-of-sight成像方法,无需预先设定光照和探测点的空间分布模式,从而显著提升了成像精度与适应性。
原理介绍和推导
刘等专家开发出一种创新的NLOS成像方法，并命名为共焦补充信号-对象协同正则化技术（CC-SOCR）。该系统采用贝叶斯理论构建模型，并通过模拟辅助信号构建空间模型以实现目标的高度还原效果。研究者们通过设计一种创新算法——共焦补充信号-对象协同正则化（CC-SOCR）算法，在实验环境中验证了其有效性：该系统不仅实现了目标的高度还原效果，并且在处理复杂场景时表现出色。
我们来详细解释一下这个过程。首先，我们需要求解以下优化问题:
(u^*,b^*,d^*) = \arg\max_{u,b,d} P(u, b, d|b^*)
其中变量u被设定为目标重构对象，在此过程中涉及多个关键量：变量b代表被估计得到的信号特征；变量d则是在虚拟构建过程中的共聚焦辅助信息；而b^*则被视为在实际测量中获取到的具体数据特征。解决这一问题的关键在于如何合理地设定相应的先验概率模型以实现对目标变量u的有效推断。
在CC-SOCR框架中
- 基于稀疏性的正则化项：该正则化项通过施加L1范数约束来迫使重建的目标变量u及其估计信号b呈现出稀疏特性。
- 反映非局部自相似特性的正则化项：该技术利用图像中各区域之间存在的非局部自相似特性，并通过增强变量u与b间的关联度来提高恢复效果。
- 依赖物理模型的协同约束：该约束条件通过矩阵A代表物理模型这一前提条件，在优化过程中确保变量d与其线性变换Ad之间存在紧密的相互依存关系。
基于三个正则化项的引入，在仅有有限数量的观测数据下，CC-SOCR方法能够实现对高精度重构目标的有效达成。
研究现状
在NLOS成像领域已取得诸多有效成果。具体而言，在1980年代初Velten团队率先开发了基于体素的空间重建技术，并采用反向投影算法构建了基础框架。随后在此基础上研究团队开发了渲染技术、加快重建速度以及降噪技术等关键组件。随后于2005年O’Toole研究团队引入了光锥变换（LCT），将目标物建模为光锥核与隐含目标的卷积关系，并将其转换为去模糊问题求解。此外还有基于波方程的频率-波数迁移方法6，在这一方法下还发展出了考虑目标与测量信号先验知识的信号-对象协同正则化方法7
尽管这些方法取得了很大的进步，但他们都面临着两个主要的挑战：
- 为了在大的中继表面上进行密集测量, 如果中继表面呈现不规则形状或较小尺寸, 这些算法可能因数据不足而导致失效.
- 密集测量会带来较长的采集时间, 对像自动驾驶这样需要快速响应的应用来说, 这是一个重大的挑战, 因为观察者可能需要快速移动以捕捉动态情况.
该研究提出的CC-SOCR方法基于引入虚拟共聚焦信号，在应对两个关键挑战的基础上，在任意空间光模式下的光照与探测点上实现了无遮挡成像效果。
实验结果
该方法在模拟数据和实测数据中经过验证显示其有效性。采用一个标准的正四面体模型作为模拟对象进行实验研究后发现，在应用CC-SOCR算法后不仅实现了目标重构而且达到了较高的精度水平；相比之下其他算法未能实现这一目标。
此外，在非共焦点的实测数据集上，作者对CC-SOCR方法进行了评估，并采用了斯坦福数据集中一个具体的样本实例作为测试对象。实验结果表明，在仅依赖少量测量数据的情况下（即仅凭有限的数据），CC-SOCR方法能够有效地重建目标。然而，在这一场景下（即仅凭有限的数据），其他方法在这一场景下则难以实现同样效果。
挑战
尽管该方法在NLOS成像领域展现出显著成效（效果显著），然而仍面临诸多亟待解决的问题（问题尚存）。首先，在本研究中所采用的方法具有较高的计算复杂度（复杂度较高），这可能会影响到其实时应用的适用性（适用性受限）。尽管研究者已提出了一些可行的优化策略（优化方案），但这些策略可能会影响重建质量（质量影响）。
其次，在实际应用场景中应用该方法时需要考虑其对物理模型的要求。具体而言，在实际应用过程中由于光照条件的变化或者材料特性的差异等多种因素的影响下可能会导致测量数据出现偏差从而影响最终结果的质量
最终而言，在聚焦技术领域中，CC-SOCR方法通过引入虚拟聚焦信号来实现对测量数据的补充与优化。尽管该技术在处理不完全测量数据时表现出良好的效果，并且能够显著提升数据分析精度[1]（假设此处插入参考文献），但这种做法可能会带来一些新问题：例如，在选择合适的虚聚焦参数时需要谨慎判断；此外，在实际应用中还需应对由此产生的误差累积效应带来的系统性能挑战。
未来展望
虽然面临着诸多挑战，CC-SOCR方法却无疑地为非线性光学成像开辟了全新的前景。展望未来，在以下几个方面的发展前景尤为值得关注：
改进型优化算法 旨在降低计算复杂度的问题。为此，我们需要开发更高效率的优化方案。例如，则可采用深度学习或机器学习等技术手段进行近似求解以提高解决方案的质量和速度。
精确的物理模型：为了提升图像重建的质量要求, 该物理模型需要被建立起来以便更好地描述光的传播过程.
更具适应性的测量方案：CC-SOCR方法目前能够实现各种不同光照及检测点的空间排列配置。然而我们还可以进一步探索更具灵活性与适应性的测量方案并通过实时调节光源与探测器布局来优化不同应用场景下的测验效果
总体而言，CC-SOCR方法开创了新的解决方案途径，在NLOS成像领域展现出显著的技术优势，并且我们有理由相信，在未来将会看到更多基于该技术的实际应用出现。
Velten et al. employed ultrafast time-of-flight (Ultrac) imaging to reconstruct the three-dimensional shape around a corner in Nat. Commun., 2012
Arellano et al. introduced efficient back-projection techniques to achieve non-line-of-sight image reconstruction at the ACM SIGGRAPH 2017 Posters.
Transient imaging has seen recent progress from the standpoint of computer graphics and vision.
Laurenzis and Velten developed feature selection and inverse projection algorithms for non-line-of-sight laser-based observation in their 2014 study published in the Journal of Electronic Imaging.
Matthew O.'T.'、Lindell D.B.及Wetzstein G共同开发了一种基于光锥变换的非线性视线成像技术。该研究发表于Nature期刊的第555卷中（第338至第341页），年份为2018年。（↵︎）
Lindell et al., ACM Trans. Graph. 38, 1–13 (2019). ↩︎
Liu et al. introduced a method for non-line-of-sight scene reconstruction using a signal-object collaborative regularization technique in Light Sci. Appl., volume 10, issue 198, year 2021.