Dynamic Fusion 总结（根据论文：《DynamicFusion: Reconstruction and Tracking of Non-rigid Scenes in Real-Time》
该论文提出了一种基于深度学习的方法（Dynamic Fusion）来实现非刚性场景的实时重建与追踪技术。该方法通过结合多帧图像信息与几何约束条件，在不依赖外部传感器的情况下实现了对复杂动态场景的精确建模与运动估计功能。论文的主要贡献体现在以下几方面：首先，在算法层面提出了一个创新性的动态融合框架（Dynamic Fusion），并将该框架成功应用于实时场景重建与追踪任务中；其次，在系统实现层面设计了一个高效的硬件架构支持方案；最后，在应用层面展示了该方法在真实世界环境中的优异性能表现以及实际应用价值
-
摘要
-
整体思路
-
预备知识：TSDF & Mesh模型
-
- TSDF模型
- Mesh 模型
-
流程框架及各部分原理
摘要
早期的相关研究主要可分为两类：其一是基于实时非刚性跟踪算法的研究，在此类方法中虽然能够实现对动态变化场景的处理能力，但存在无法有效应对复杂动态环境的问题；其二是针对离线动态场景重建的技术研究，在该领域中虽然可以获得较为完整的重建结果，但仍然无法实现实时更新的需求。DynamicFusion方法则首次实现了对非刚性变形动态场景的实时重建能力。类似于KinectFusion技术，在DynamicFusion系统中随着每一帧新数据的有效融合入模型，在保持高效率的同时也能够显著提升模型细节的表现效果。
整体思路
①输入第一帧深度图
基于输入的第一帧深度图生成一个静态固定的canonical model（关键模型）。
②输入后续帧深度图
在动态非刚性场景中，在随后输入的每一帧深度图中都能观察到物体动作状态呈现出明显的非刚性变化趋势
在时间点t时接收一帧深度图信息，并通过几何变换回滚物体的动作轨迹；随后将其与上一个时间点t-1处的规范模型进行结合（融合），推导出一个更为完善和精确的当前时刻t处规范模型；接着利用估算得到的空间变换关系将该规范模型发生形变，并将其变形为当前时刻t处的实时输出帧；最终实现了动态非刚性场景下的实时跟踪与重建过程
预备知识：TSDF & Mesh模型
Canonical space中有两种场景表面的表示方法：TSDF & Mesh模型
TSDF模型
表示物体表面的三维隐式模型时，我们首先定义一个体积（三维体空间），它被划分为网格结构。通常采用的是边长分别为256 \times 256 \times 256或512 \times 512 \times 512的小立方体单元（即体素），每个体素都会存储其到物体表面的距离函数值（截断符号距离）v(x)以及对应的权重系数w(x)。为了求解某一体素Xc在其投影方向上的截断符号距离值，则需要遵循以下公式：
Mesh 模型
详细记录了物体表面的三维显式模型，并完整记录了每个顶点的位置信息及其相互关联关系。采用Marching cube算法实现了TSDF模型向Mesh模型的转换，并生成的该类三维数据结构可通过专业软件如MeshLab进行打开与展示。
流程框架及各部分原理
该流程分为两种情况：
①输入第一帧深度图的处理过程
过程说明如下：
a.Surface Fusion（表面融合）：从第一帧图像获取深度信息，并通过该深度数据初始化体素网格。随后，在物体表面附近的所有体素单元中更新其权重值以反映真实形状。这一过程包括构建基于正则化的TSDF模型。
b. Surface Extraction（表面提取）：在Canonical空间中对TSDF模型进行了转换操作，并实现了从TSDF到Mesh的转变过程，在Canonical空间中完成了这一转换，并最终得到了Canonical形式的几何体；
Reorganize the node structure: By performing analogous clustering operations on the canonical model's vertices, we can generate new nodes, and their representations.
当前时刻t的每个node记录了其位置，其影响权重，以及其warp变换矩阵。
②输入后续帧深度图的处理过程
详细说明了以下内容：
a.测量步骤：计算当前时刻t输入的深度图像对应的点云数据V_t和法向量数据N_t。
b. Tracking（Estimating the warp field）：能量方程（由数据项和正则项组成）
数据项
通过将上一个时间步长t-1的原始模型中的节点经预期的变形映射变换至预测表面，并与深度图实时生成表面点进行基于法向量方向 closest-point ICP 处理以实现两表面间法向量方向上的最近点匹配；
正则项
该方法旨在减小正则化项并施加对节点间的关系限制；通过优化能量函数得以确定当前时间点t上每一个节点对应的变形参数；随后采用基于DQB插值的方法对周围k个相邻节点执行变形插值运算以获得各体素点上的变形参数；
c. Surface Fusion：通过当前时刻t的所有voxel应用时间偏移变换warp t-1时刻Canonical空间中中心点xc到Live frame的位置xt上，并随后计算xt处的空间概率密度函数（PSDF）值；随后将该xt位置处的空间体素与Canonical空间中心点xc对应位置处对应的PSDF值进行加权平均；从而用于更新xc位置处的空间体素；最终这种方法被用来更新TSDF模型；实现了表面融合后在当前时刻t处的空间框架。
d. Extract the surface: The TSDF model in canonical space is converted into a mesh model within the same canonical space, thereby resulting in the canonical model for current time t.
Update the graph's nodes within its canonical model at time t. It results in the updated nodes at time t, based on newly added nodes near k existing ones from the previous step. The warp transformation for each new node is computed using DQB interpolation.
f. Generate live frame: Estimate the current moment t spatial transformation to transform the canonical model into the live frame at current moment t.
通过以上的各个过程，最终实现了动态非刚性场景的实时跟踪与重建。