NeRF（Neural Radiance Fields）学习笔记
发布时间
阅读量：
阅读量
NeRF简要概括：为用一个MLP神经网络去隐式地学习一个静态3D场景。
为了训练网络，针对一个静态场景，需要提供大量相机参数已知的图片。
输入：5D向量函数，包括一个空间点的3D坐标位置
，以及视角方向
。
输出：
是对应3D位置（或者说是体素）的密度，而
是视角相关的该3D点颜色。
神经网络可以写作
具体实现：
首先输入到MLP网络中，并输出
和中间特征，中间特征和
再输入到额外的全连接层中并预测颜色。
原文翻译：
我们系统性地提取空间位置及朝向信息，并将其输入多层感知机用于生成颜色与体积密度参数化数据；随后结合体绘制技术整合这些参数化数据生成视觉效果图像是一个关键步骤；这种基于几何光学学派设计的渲染函数具有良好的可微性特征使得我们可以有效地训练场景参数使其与实际观测高度吻合。
体素密度仅与空间位置相关。颜色不仅与空间位置相关还与观察者的视角有关。纹理（Density）是物体固有的属性因此在计算纹理时不需要考虑观察方向；而基于RGB的方法则需要同时考虑方向、xyz坐标等多方面因素
NeRF其实是一种三维场景的表征形式，并且是非显式的表征方式。其本质区别在于无法通过显式的点云、网格或体素结构来直接呈现三维模型的细节。
NeRF局限性：
1.NeRF泛化性较差，一个网络只能代表一个场景——暂无解决方案
2.要极为精确的相机位姿GT——基于GAN、BA层的
3.训练速度较慢，参数量较大——训练加速
4.主要解决后两个问题的后续工作相当多，第一个问题难以解决
5.有人考虑将其用于游戏行业（元宇宙核心技术）
NeRF：用深度学习完成3D渲染任务大放异彩 - 知乎在阅读1 引言
推送至网易订阅平台
NeRF论文笔记
NeRF论文笔记
NeRF论文笔记
NeRF论文笔记
NeRF论文笔记
NeRF论文笔记
全部评论 (0)
还没有任何评论哟~