【阅读论文笔记】《3D Morphable Models as Spatial Transformer Networks》
《3D Morphable Models as Spatial Transformer Networks》
Báscos A, Hüber P, Smith, W.A.P., et al. explored the innovative approach of representing 3D Morphable Models through Spatial Transformer Networks at the 2017 IEEE International Conference on Computer Vision Workshop (ICCVW), where they demonstrated significant advancements in visual computing techniques.
借助3Dface Morphable model 实现 image 到 pose-invariant image 的转换，并且基于同一个 morphable model 的映射过程下，在每个 pixel 处都能找到对应的 point 在 morphable model 上。每个 point 都承载着明确的意义。
1.localiser network
使用VGG net 回归以下几个量：
Rotation \translate scale of 3D Morphable model and Shape parameters
2.Grid generator network （不是传统意义上的 neural network ）
（1） 3D morphable model layer 使用shape parameters 产生 3D face model
类似于一个权重和偏置不能更新的全连接层，可以实现反向传播。
（2） axis-angle to rotation matrix layer
同样可实现反向传播
（3） 3D rotation layer
可实现反向传播
(4) Orthographic projection layer
(5)Scaling and translation layer
- Sampling
使用Tutte embedding 生成geometry image 使用双线性插值进行采样
ask layer
根据是否是self-occlued 计算mask image
3.Loss
(1) bilateral symmetry loss
Siamese多视图拟合损失函数，在没有同一物体的多视图图像时，则可采用面部图像的水平镜像作为替代。
（3）landmark loss
（4）statistical prior loss,等于model parameter 的L2正则化项
