ICCV2019 最佳论文解读：SinGAN
发布时间
阅读量：
阅读量
SinGAN: Generating a Generative Model Based on One Natural Image
ICCV 2019
论文
源码
这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型–SinGAN，能够捕捉图像的内部块分布信息，生成具有相同视觉内容的高质量、多变的样本。SinGAN包含一个金字塔结构的全卷积GAN，每个GAN负责学习图像不同尺度的分布信息。因此可以生成具有任意尺寸和纵横比的新样本，这些样本具有明显的变化，同时又可以保持训练图像的整体结构和精细的纹理特征。与之前的单图像GAN方案对比，本文方法不局限于纹理图像，而且是非条件的（即从噪声生成样本）。大量实验证明SinGAN生成的样本具有较好的真实性，而且可以应用于多种图像处理任务中。
一. 整体框架图如下图所示：
在此过程中, 生成模块从最低分辨率开始逐步构建高质量图像, 判别器则通过多级特征提取机制识别不同尺度上的细节信息. 通过交替优化的方式, 系统能够有效学习并重建复杂场景中的细节特征.
四.总结
- 本文介绍了一种可以从单幅自然图像中学习的新型非条件生成框架–SinGAN。证明了其不仅可以生成纹理，还具有为复杂自然图像生成各种逼真样本的能力。与外部训练的生成方法相比，内部学习在语义多样性方面具有固有的限制。例如，如果训练图像只包含一条狗，SinGAN不会生成不同犬种的样本。不过，作者通过实验证明，SinGAN可以为多种图像处理任务提供非常强大的工具。
2.SinGAN在仅仅一张图像上训练，这张图片既是训练样本也是测试样本。在这张图像上训练完了之后，同样在这样图片上测试。如果你想换一张图像测试，就必须先在那张图像上训练，这是有异于其他GAN的。
但不是整个图像送进网络，而是在一张图片上crop出可以重叠的patches。用这些patches训练 然后SinGAN采用无条件GAN方式设计，而且是级联式的Generator-Discriminator pair的形式。每一个G-D都负责一种尺度 作者发现，通过学习patch内部的数据分布，网络最终能在测试时输出保留原图中目标的结构以及形象，但是又不同于原图的真实图像
全部评论 (0)
还没有任何评论哟~