《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》阅读笔记
本文探讨了基于生成对抗网络(GAN)对低分辨率单一图像进行超分辨率处理的网络架构；这种基于GAN的方法对于提升图像细节具有重要意义，并值得深入探究。阅读原文点这里。
Abstract
尽管我们借助更快、更深的卷积神经网络（CNN）显著提升了单幅图像超分辨率的速度与精度水平, 但在解决高倍放大图像重建过程中缺乏足够细节恢复这一核心问题上仍存在明显缺陷：如何更有效地从高倍放大部分信息中重建出具有丰富纹理细节的真实图像？
Introduction
高分辨率成像技术（High-Resolution Imaging Technology, SR）是一种基于低分辨率图像重建高分辨率图像的技术，在计算机视觉领域持续获得关注并得到广泛应用。目前广泛采用的基于最优化目标函数的监督型超分辨率算法存在高频纹理细节重建不足的问题，导致重建图像模糊不清。这些算法多以均方误差(MSE)作为优化目标函数的方法，在降低MSE的同时能够提高信噪比(PSNR)值。然而PSNR指标数值大小并不能充分反映图像视觉质量的好坏程度。正如图中所示，在多个测试场景下观察到PSNR值最高的情况却未必能真实反映出最佳超分辨率效果
基于此，在该研究中提出了一种基于深度残差网络（ResNet）构建生成器的新方法。不同于以往的是，在这一方法中使用的优化目标不仅限于均方误差损失（MSE），还包括了VGG网络与判别器组成的感知损失项
Contribution
- 开发出一种基于PSNR和结构相似性作为评价依据的SRResNet模型来实现对放大四倍图像的超分辨率处理。
- 提出的SRGAN以感知损失为优化目标，并采用VGG网络特征图谱损失函数替代了基于均方误差（MSE）的内容损失函数。
- 在对生成图片进行质量评估时，我们进行了MOS测试。
Method
为了在SRGAN网络的训练过程中获得高质量图像（HR images），作者采用了特定的方法。随后将这些HR图像经过降采样处理（downsampling）以生成相应的低分辨率（LR）版本。接着将这些低分辨率图像输入到模型中，并通过优化生成器（generator）来还原出高分辨率版本。这一过程与前馈神经网络（CNNs）的训练方式相似，并且都是对网络参数θ_G进行优化。
值得注意的是，在这里采用了感知损失—l^{SR}；进一步地，在其方法中引入了一个新的判别器设计框架——类似于Goodfellow所提出的GAN架构；生成器与判别器之间采用了一种交替优化机制以求解以下所给的目标函数
值得注意的是，在这里采用了感知损失—l^{SR}；进一步地，在其方法中引入了一个新的判别器设计框架——类似于Goodfellow所提出的GAN架构；生成器与判别器之间采用了一种交替优化机制以求解以下所给的目标函数
网络结构如图所示
perceptual loss function
perceptual loss 的定义对于生成器的表现至关重要，在通过为 content loss 和 adversarial loss 分别赋予不同的权重后，我们得到了以下公式：
Content loss is a fundamental concept in image processing, particularly in super-resolution techniques. Many algorithms designed for image super-resolution utilize the mean squared error (MSE) as their loss function to optimize image reconstruction. While this approach often results in high signal-to-noise ratios (SNR), it unfortunately leads to the loss of high-frequency details that are crucial for image sharpness and visual fidelity.
因此，作者定义了以预训练19层VGG网络的ReLU激活层为基础的VGG loss：
\phi_{i,j}被定义为在VGG19网络中第i层maxpooling层后产生的第j个卷积特征图谱。
W_{i,j}和H_{i,j}分别定义为VGG网络中对应特征图谱的空间维度参数。
Adversarial loss（对抗损失）
在这一阶段中
Experiment
- MOS平均意见得分
这里表现的人眼对于图像效果的评价
- final networks
