NLOS论文速览 WACV 2024 | Learning-based Spotlight Position Optimization for Non-Line-of-Sight Human Loca

注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文

NLOS综述 | Learning-enabled Spotlight Positioning Optimization for Non-line-of-sight Human Localization and Posture Classification

完整的学术会议信息：第24届计算机视觉与模式识别会议（WACV 2024）已发布其论文摘要页面：https://openaccess.thecvf.com/content/WACV2024/papers/Chandran_Learning-Based_Spotlight_Position_Optimization_for_Non-Line-of-Sight_Human_Localization_and_Posture_WACV_2024_paper.pdf

本文探讨了一种利用深度学习方法实现非视距(Non-line-of-sight, NLOS)人体定位与姿态识别的技术。该系统采用了通用投影设备与常规摄像头组成的相机系统。主要阐述内容及所取得的成果如下：具体内容包括以下几方面:一是通过多角度数据融合实现了精准的人体定位;二是结合姿态特征识别算法完成了完整的姿态分类流程。其贡献体现在技术创新以及实际应用效果两方面

摘要

我们提出了一个端到端的神经计算成像体系框架...旨在优化场景照明方案...从而实现无遮挡（NLOS）环境下的最佳成像效果...其中该系统包含一种新型的消息传递架构的IEN模块...结合物理模拟技术设计出高效的可微渲染模块...配合支持无遮挡环境下的目标定位与姿态识别功能等关键组件

该方法借助可微渲染器在流程运行中，明显增强了对真实环境的适用性。这些真实环境具有非镜面反射特性和自发光物体。

通过融合合成数据与实际测试数据展示了该方法在多个基准线上的优越性。此方案成功定位了各类人体姿态，并在精度上超越同类方案。相比其他领先方案，该系统定位精度高出至少45厘米。

相关工作

主动照明NLOS:使用控制的照明源和检测器探索场景隐藏部分。

被动照明NLOS:使用环境光进行NLOS成像任务。

NLOS的深度学习:使用ToF和传统RGB数据的深度学习技术。

方法

问题陈述

系统包含投影仪P作为照明源,相机C作为检测器。

目标是倒推函数F,优化α以更准确地恢复对象位置l。

    I = F(l, α, φ)
    
    
      
    
    代码解读

照明估计网络

基于消息传递神经网络,以处理任意大小的LOS网格。

输出应聚光的三角形节点,以最大化NLOS信息。

基于物理的可微渲染器

使用可微渲染器,从图像域传递信息到表示场景的多边形网格。

计算关于照明位置的网格梯度,这是核心贡献。

NLOS网络

执行NLOS定位和姿态分类。

使用ResNet-18作为特征提取器。

对定位使用均方误差(MSE)loss,对姿态分类使用交叉熵loss。

数据集

合成数据:30个逼真的LOS场景。

真实数据:8个室内场景,5个人体主体。

实验

姿态分类准确率分别达到合成数据96.1%,真实数据87.4%。

定位MSE分别达到合成数据9.86cm,真实数据45.14cm。

优于若干基线方法。

照明优化 的重要性得到验证。

结论

证明了选择最佳照明位置的重要性。

在具有挑战性的场景中实现了状态的艺术的追踪和姿态分类。

未来工作:探索空间变化的照明,加入计算成像硬件等。