《Understanding and Stabilizing GANs’ Training Dynamics using Control Theory》阅读笔记

《Comprehending and Maintaining Stability in the Training Dynamics of GANs with the Aid of Control Theory》阅读笔记

1 总结

本文从控制论的角度探讨了生成对抗网络(GAN)的稳定性问题，并主要应用了控制论中经典的负反馈机制理论。
通过对目标函数施加拉氏变换并将其映射至频域，在迁移函数的基础上评估系统的稳定性状态；对于系统出现不稳定的情况，则依据负反馈机制进行优化设计与改进措施。

2 控制论前瞻

2.1 拉氏变换简介

本节将概述文章中所涉及的控制论方法的相关知识，并具有基础性内容；即使缺乏该领域相关知识也无需担心。

函数建立了输入与输出之间的关系。用符号\boldsymbol{u}表示输入，并用符号\boldsymbol{y}表示输出。假设输入是随着时间变化的一个值，则相应的输出也会是一个随着时间变化的量。我们将这种随之改变的数量称为信号（Signal）。其时变特性可以通过以下微分方程来描述：

上文中f(·,·)就可以被视为描述时域内的微分方程表达式。若希望将其转换至频域，则需执行拉普拉斯变换：

拉氏变换最显著的优势是可以实现从时域到频域的转换过程（即将微分和积分操作转化为乘除法）。例如，在处理微分方程时

在频域中表示为原始函数的拉普拉斯变换与一个拉普拉斯算子的相乘。

除此之外，在讨论系统行为时会涉及到以下函数：其中\boldsymbol{y}(t)表示输入信号，在频域中存在这样的关系：\boldsymbol{Y} (s)= \mathbf T(s)\cdot \mathbf U(s).在这里将其称为迁移函数，在控制理论分析中占据重要地位。而系统稳定性设计通常涉及对该函数的各种处理步骤。

2.2 系统稳定性条件

我们常说系统的稳定性。那么究竟如何定义系统的稳定性呢？在控制论中，在时间t的变化过程中若其输出值\boldsymbol{y}(t)最终会趋于一个定常值，则该系统的稳定性特性体现在其输出值趋于恒定状态；若该系统的输出表现为其振荡特征，则当时间t不断推进时其输出值将在特定区间内持续摆动——这种振荡行为最典型的表现形式即为正弦函数与余弦函数的形式；相反地若观察到该系统的输出呈现发散现象则表现在其输出值随时间t的增长而无界增长的状态

那么如何判定一个系统是否达到稳定性？它主要由我们的迁移函数\boldsymbol{T}(s)来决定。在分析系统稳定性时，默认假设迁移函数会被表示为关于s的一个分式形式。其极点即为使得分母表达式等于零的所有那些值。假如：

• 所有极点全部具有负实部，则该系统可判定为稳定（理想系统）；
• 存在至少一个极点具有零实部，则该系统的状态响应会出现振荡现象（适用于部分特定场景）；
• 存在至少一个极点具有正实部值，则该系统的动态行为将呈现发散趋势（无法维持稳定）。

2.3 负反馈

在上一节的学习中

我们通过引入负反馈调整了原始迁移函数的行为模式，并因此为构建稳定的迁移函数提供了可能性。值得注意的是尽管如此但我们主要关注的是生成对抗网络（GAN）的稳定性

3 从控制论看GAN的优化

3.1 参数信号化

作者给出了GAN的通用优化函数表达式：

其中c代表输入数据即真实数据，并用\phi来表示生成器网络的参数以及用\theta来表示判别器网络的参数。对于不同的GAN模型而言，在设计生成器和判别器时会有不同的选择和策略。上述两组公式详细阐述了生成器和判别器的具体表达形式，在此处作者直接给出了它们基于微分方程的形式。

目前对推理过程中的逻辑尚不清晰。基于作者所述的原因是由于参数更新采用了梯度下降法而导致两个微分方程等价的问题暂且搁置待后文讨论，并选择沿用其这一表达方式继续后续推导以便对其余部分展开深入分析

关于\mathcal{D}：

关于\mathcal{G}：

对于Dirac GAN，D(x)=\phi x，从而有：

基于此公式...

研究者对几种具有代表性的GAN模型的稳定性展开了深入探讨，在表中列出的Dirac GAN被视为一种基于改进型GAN架构的优化版本

作者发现几种模型从控制论角度都无法稳定。

3.2 GAN的稳定性策略

根据上述分析, 该文章旨在采用负反馈方法以实现GAN模型稳定性训练, 负反馈控制亦被称为闭环控制系统, 即论文中反复提及并应用的缩略语CLC。

具体来说，作者希望应用CLC提升模型稳定性时需要满足以下要求：

• 采用CLC方案后\mathcal{G}与\mathcal{D}之间的参数微分方程必须满足稳定性要求；
  • 即意味着加入闭环控制只能调整系统的稳定性指标而不影响原有模型性能。

3.2.1 基于DiracGAN的稳定性策略

采用基于DiracGAN的架构设计，在遵循其生成器与判别器之间的关系模型中进行优化后，在达到判别器参数趋于稳定状态时即可保证生成器同样满足稳定性要求；由此可知，在这种情况下无需实施额外的闭环控制系统以维持系统的动态平衡状态。针对Dirac-Wasserstein GAN（Wasserstein）模型，在设计过程中可直接设定时间常数矩阵\boldsymbol{T}_b(s)恒定为某个数值λ；这将使鉴别器能够实现预期的目标或功能。

其特性受λ值调节，并且当且仅当λ大于0时，系统的极点全部具有负实部。

3.2.2 通用GAN网络的稳定性策略

在一般情况下将生成器和判别器各自表示为\mathcal{G}=\mathcal{G}(z,t)和\mathcal{D}=\mathcal{D}(x,t)的形式，则目标函数可表示为：

使用变分法求解微分方程：

在当前段落中，对应关系与之前对DiracGAN进行的逻辑分析是一致地遵循规律。为了更好地理解这一特性，在后续讨论中将对这个公式与其他类似模型中的公式进行详细对比。

两者的数学表达式在形式上具有高度的一致性，
主要区别在于一般的GAN模型中引入了概率元素，
其中，
与之相比，
在处理生成器 \mathcal{G} 时同样未采取任何修改措施，
而针对判别器 \mathcal{D}，
采用了相同的方法论步骤，
并通过引入一个放大系数 λ 来构建负反馈机制。
最后将判别器 \mathcal{D} 的微分方程表达式写出：

因此，对于\mathcal{D}的优化函数，就是上面那个式子的积分：

因为整个流程经过了复杂的优化设计，在最终效果上却仅向鉴别器添加了一个相对简单的正则化项。值得注意的是，在实际操作中采用了一种较为便捷的方式进行采样与计算操作：其中\mathcal{X}属于属于输入至判别器\mathcal{D}的整体数据空间，并整合了真实样本与生成样本；具体的实现步骤如附录所示

此处借鉴了Memory Bank的概念，在模型训练过程中设置了两个存储单元B_r和B_f来分别存储真实样本和生成样本。每次迭代过程中更新其中一部分存储单元的数据，在计算正则化项的过程中，并从B_r和B_f中各自抽取一批数据用于正则化项的计算。这些操作旨在通过动态调整机制确保训练过程更加稳定。

4 实验

基于作者的研究结果，在控制论领域引入了CLC的Wasserstein生成对抗网络（WGAN），该系统的运行状态已从振荡状态趋于稳定状态；这一现象一定程度上验证了他们的方法能够实现预期目标并达到理论预期效果

并且根据对IS和FID的测评，模型训练过程中的震荡确实更小了：

生成效果尚可，在评估指标方面表现出良好的性能表现。然而目前已有多种方法已经超越了这一水平，在模型稳定性方面仍存在改进空间。遗憾的是目前尚未深入探讨这一问题

IS：

FID：

生成效果：

综合而言,该研究具有以下特点:研究思路较为创新,理论内容较为艰深,其中部分数学表达式缺乏详细解析.尽管如此,具体的操作流程相对直观,整体思路较为清晰易懂.所得结果具有参考价值,未来可以通过进一步的实证研究来验证其实际效果.