论文笔记003:[TIP2019] SiGAN:Siamese Generative Adversarial Network for Identity-Preserving Face Hallucin

摘要
现有的生成对抗网络可以从低分辨率的人脸生成高分辨的人脸，但是不能对高分辨率的人脸做一个识别。为了解决这个问题，作者提出了SIGAN：第一能够从低分辨的人脸中生成高分辨的人脸，第二是修复后的人脸能做身份识别。

主要贡献：

1.提出的SIGAN能够生成高分辨率的人脸和身份标识信息

2.weak binary成对标签的提出：成对的人脸是属于同一个人还是不属于同一个人，用于身份标签信息识别。不需要全部标注信息，减少了工作量，主要是在constractive loss上发挥作用。

方法

1.GAN：两个生成器，学习训练集groundtruth的特征，使它生成的图像接近训练集groundtruth的高分辨率

2.三个loss：GAN loss，contrastive loss，Reconstruction loss

1） GAN loss ：生成和鉴别器的损失

2） Contrastive loss ：有身份标签
ground-truth HR人脸对x1和x2以及成对的身份标签y，其中y = 0表示假对，y = 1表示真对，对比损失Lc如上

因此，

3） Reconstrution loss ：ground-truth HR人脸对与其超分的人脸的损失，用于最大化重建HR人脸对的保真度

总的Loss：

实验

1.主观视觉质量评估
（实验的图片都是人脸，会因为违禁被删）

1)在CASIA训练和测试，与当前的一些低分辨率转高分辨率的方法比较
分别是8x8->32x32和16x16->64x64

2)在CASIA训练，LFW和CeleA上测试，与当前的一些低分辨率转高分辨率的方法比较
分别8x8->32x32和16x16->64x64，和1）比较的不同点在于unkown identities
比如在CASIA数据集中large poses和wear sunglasses的人脸图像limited
然后在unkown identities上测试会使generator不能很好的学习到人脸的特征

3）比较baseline和SIGAN
baseline1：replace the feature distance with pixel distance
用像素距离替代特征距离
效果：pixel distance会produce some artifacts，相比之下 feature distance在contrastive loss效果更好
baseline2：remove reconstruction loss
效果：缺失会distort reconstructed HR faces,说明 reconstruction loss对face hallucination or super-resolution很重要

2.客观质量指标
为了评估reconstructed HR faces，我们使用OpenFaces去评估人脸识别率和验证率。
1）在两个人脸数据集CASIA和LFW上的识别率：我们利用CASIA的HR人脸训练训练出来的OpenFaces对reconstructed HR faces进行身份识别，并计算身份识别率。
Table1：CASIA数据集：（a)8x8->16x16 （b)16x16->32x32
Table2：LFW数据集：input LR faces belongs to an unknown identities（a)8x8->16x16 （b)16x16->32x32
说明：a)分辨率越高，识别率越高 b)the HR faces reconstructed by SiGAN 的平均识别率比其他的方法高

2）在两个人脸数据集上的验证率：基于成对匹配，我们评估OpenFaces验证重建的人脸与其对应的ground-truth人脸相同身份的准确性。

3）修复保真比较：用PSNR和SSIM比较

3.运行时间复杂度分析