迁移学习-PixelDA-Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
Unsupervised Pixel–Level Domain Adaptation
with Generative Adversarial Networks
Google Brain
London, UK
该文章所提出的思路即为将超分辨率过程视为一个任务，并将其与超分辨率整合进同一个体系中进行组织。这一设计使得整个架构具有显著的效果。鉴于文章中指出，这种domain adaptation通常假设于低层特征层面，并不能很好地适应像MRI图像这样的高层抽象特性差异明显存在
1.Introduction
首先介绍简单地融合两个领域的数据后进行训练时效果通常会很差。该方法主要采用非监督学习策略以解决这一问题具体而言该策略主要包括两部分一是通过建立一种映射关系使源领域的数据能够有效表示目标领域的特征二是通过构建domain-invariant representations作为中间表征层能够同时表征两个领域的共同特征
然后介绍了这篇文章提出的 PixelDA 也就是基于GAN结构的非监督的转换网络。优势有四个：
- 通过解耦任务与DA架构，在该网络中实现了广泛的任务适应性。
- 在原有设计中，默认要求每个任务与DA网络的标签一一对应；然而通过PIxelDA方法实现解耦后，在迁移过程中不再强制要求标签一一对应。
- 在训练稳定性方面采用task–specific损失函数结合生成图像源域数据，并引入像素相似性正则化来防止模式崩溃。
- 通过将噪声和源域图像作为G网络输入端口引入大量生成数据；这显著减少了对大量训练数据的需求。
- 因为生成的是图像而非中间特征向量表示；因此模型输出更加直观且易于解释。
2. Related Work
该研究系统阐述了基于卷积神经网络（CNN）的域适应方法及其应用领域包括生成对抗网络（GAN）与风格迁移技术。
3. Model
分两步：step1, 将从源域中提取的数据转移到目标域, 实际上就是生成, 看起来就像是从目标域中直接采样的数据一样; step2, 分类器就可以开始工作了, 几乎不需要进行迁移学习（DA）。
注意：该模型基于假设，在较低层次上（ noise , resolution , illumination , color ）存在差异，并非在较高层次上（ type of object , geometric , etc. ）。
G是生成网络，xs是源域，xf目标域，z为噪声，其他为网络要学习的参数
值得注意的是，在该生成器（GAN）中不仅引入了一个随机噪声向量z（即z），同时还会引入一个源图像（即source image）。与传统的GAN架构有所不同的是，在此方案中除了判别器网络D之外（即除了D网络），还同时包含一个任务网络（此处作为分类器）。
优化目标：
网络结构：
训练过程：
In the first phase, we optimize both the discriminator parameters \theta_D and the task-specific parameters \theta_T, while maintaining fixed values for the generator's parameters \theta_G. In the second phase, we keep constant both \theta_D and \theta_T to proceed to updating \theta_G.
Content–similarity loss：通过应用一个mask来约束生成数据与目标之间的关联，并施加了约束条件以确保生成数据更符合预期的标准
优化目标改为：
该损失函数旨在使模型更有效地生成与目标域大致形状最基本相似的图像。通过这种方式, 模型不会将大量精力投入到细节如颜色或像素强度等非关键信息上。