《Rendering synthetic objects into real scenes》论文笔记

初学人脸光照估计之际

本文的核心观点在于采用图像信息作为基础，以实现对虚拟物体的光照效果而不依赖于合成光源技术。对相关图示进行了说明。

Abstract
本文旨在阐述一种创新的研究内容（即论文的核心观点）。其核心理念在于将场景划分为三个模块来模拟各模块间的相互作用机制。随后探讨了基于差分渲染技术的实现方案。具体而言，在讨论基于光的模型时涉及两个关键因素：第一是场景的大致几何特征；第二则是通过光照探针测量合成物放置位置所接收到的入射光。

Introduction
之前提到场景被分为三个部分，如图所示：

在我们把合成物体添加进基于光的模型的方法中，把场景分为了三个部分：远景，局部景已经合成物体。然后利用全局光照来照亮着三个部分以及它们之间的interplay，但是从远景反射回来的光被忽略，所以远景的反射模型（反射率）这些信息（文中说了个BRDF information 我还不是很了解）是不需要的。我们需要估计局部景的几何以及材料特性来模拟它和合成物体之间的interplay。
文中提到如果有了全局光照算法以及整个场景的BRDF信息，我们可以很容易的把合成物体渲染到场景中，只需要重新计算全局光照模型就好了。但获取这个场景的BRDF基本不可能，而且没有必要，因为像远景这种和合成物之间不会有任何影响，所以只需要她在特定光照下的辐射就好了。
作者的上一篇文章（上面图片介绍里的另一篇）介绍了一种获取HDR图片的办法，通过结合image-based建模技术和几何测量，得到的radiance maps可以拿来构造scene radiance的空间表示。
此处提到三个模型：

此次再次阐述了相关研究成果：提出一种普适性的方法：通过准确测量scene radiance与全局光照算法相结合的方式实现了对渲染合成物体到light-based model的过程。

背景与相关工作

利用真实光照进行物体合成（exposing synthetic objects to real light）

本节旨在阐述我们将合成物体融入基于光的场景中的方法。具体而言，在场景建模中包含了以下三个要素：几何要求（Geometric Requirements）和光度要求（Photometric Requirements）。
①基于光模型的远景构建（远景：Light-Based Scene Model）
合成物将接收来自该模型区域的真实入射辐照度。为了实现这一目标，这些模型必须能够准确测量在期望视点处合成物附近区域的入射辐照度。值得注意的是，在不考虑表面反射的情况下，默认情况下远景区域不需要BRDF信息。RADIANCE系统采用"发光"（glow）材料属性来描述这种特性。
②基于估计材料模型的局部景构建（近景：Material-Based Approximation Model）
该局部区域会与合成物发生相互作用（interact），因此需要具备几何特性和反射特性（可为估计值）。几何特性相对容易估计；而BRDF信息将在第七章进行详细讨论。值得注意的是，在观察视角下，默认情况下只有那些对外观有显著影响的场景才应被归类为局部区域；由于局部场景是一个完整的BRDF模型（？），因此它可以被视为任何其他物体并纳入场景中进行渲染处理；然而由于BRDF估计难度较大，在实际应用中通常会对局部场景外观进行调整以计算出近似值。（这里仍存在诸多疑问）
③完整材料基模的构建
这部分较为简单无需赘述。

Compositing using a light probe
这一节介绍了一个特别的技术——创建一个light-based模型使其可以把合成物体加入到特定位置。前面第四节提到，远景的基于光模型重要的一点在于准确测量在期望的视点 ，合成物体附近 的入射光照。期望视点 可以采用获取期望视点的radiance maps得到满足（采用对镜面球拍照的办法）。
5.1 Mapping from the probe to the local scene
为了把镜面球的表面信息与入射光一一对应，所以需要记录球与相机的相对位置，球的大小等一系列信息。通过这些信息，可以直接通过图像（radiance map）的像素跟踪来自摄像机中心的光线，并将光线从球中反射到环境中（这里大概能懂那个意思但是理解不直观，有点抽象）。 假设球相对于环境较小并且相机的视图是正交的，通常会产生良好的近似。从单个ball中得到的图像会有伪影（即把相机那些也记录进去了），这里提到一个办法将两个相距90度的ball的图像组合在一起可以消除相机伪影，避免不良采样。
5.2 Creating renderings
前提：合理的local scene model已经建立好了，radiance map以及其他相机位置等信息有了，全局光照算法把这三个部分点亮。
先建立一个local scene为白，distant scene为黑的蒙版。这里说了一句感觉很重要但我没看懂，感觉也是渲染的一个重要思想：

This composite operation can be regarded as a subset of Method A detailed in Section 4. The light-based model for distant scenes operates as follows: if (V_x,V_y,V_z) represents an actual viewing direction in the scene, it returns L(\theta,\phi) where L denotes radiance. Otherwise, it computes L(\theta,\phi) by projecting (\theta,\phi,V_x,V_y,V_z) onto a radiance-mapped distant scene model.

提升图像质量的方法之一是采用差分渲染技术。该方法阐述了在局部场景的BRDF估计不够精确的情况下，采用何种方法来提升渲染效果。由于这不是本次论文的核心关注点之一，在此不做深入探讨。

Calculating the local scene BRDF（计算局部场景的BRDF值）
等我看明白了BRDF后再进行补充。。

Compositing Results
给出了合成结果。具体不展开谈了。