[GAN_papers]GAN+Generative Adversarial Nets

写在最前：有问题感谢指出，感兴趣欢迎讨论～

Generative Adversarial Nets

0. Summary

同时进行两个模块的协同训练（基于神经网络使其具备反向传播能力），构建一个生成模型来拟合数据分布，并设计一个判别器用于区分输入x是来自真实数据还是生成模型产生的假数据。最终使得生成模型能够准确拟合真实数据分布，并使判别器对任何输入样本都能预测其来源的概率为1/2。
阐述了GAN的基本理论框架及其基础训练方法。
解决了传统方法难以处理的概率计算难题。

1. background

生成式模型之所以存在问题，在于难以处理的概率计算；另一方面，在生成性环境中利用了piecewise linear units带来的好处也面临挑战。我们的工作避免了这些问题的存在。

灵感来源

2. Research Objective

生成式模型

3. Method(s)

解释： *

直观解释

理论解释：

网络设计
输入random noise，model为多层神经网络

损失函数：

训练方法： *

直接训练内层循环maxD是高度计算密集型的；并且在有限的数据集上容易过拟合

As a result, every time D is updated k times, updating G once leads to D remaining close to its optimal solution, provided that G changes slowly enough.

训练方法的理论证明见论文Section4

启动阶段：在启动阶段,G的训练目标从minimizing log(1−D(G(z)))转换为maximizing logD(G(z)).由于初期模型G表现欠佳,log(1−D(G(z)))提供的梯度不足,而采用最大化logD(G(z))则能够有效提升训练效果.

4. 结果

5. 创新点

6. 实验 &结果讨论方法

Conclusion

Evaluation

1. 可用于数据不足的semi-supervised

优点：

1. 无需马尔科夫链
2. no inferences are required for the learning process
3. a wide variety of functions can be integrated into the model
4. 比较基于马尔可夫链的方法,该模型能有效地表示出极端或尖锐的分布
5. 模型的输入成分不被直接复制到生成器的参数中

存在问题：

1. G模型的概率范围pg(x)没有显式的表达形式。
2. D必须与G同步进行精细训练（具体而言，在更新D之前不应过度训练G以避免"Helvetica scenario"的发生，在此情况下G将许多z值映射到同一x值而缺乏足够的多样性来建模pdata）

Notes

Reference