CVPR 2019之迁移学习：Contrastive Adaptation Network for Unsupervised Domain Adaptation
Contrastive Adaptation Network for Unsupervised Domain Adaptation
简述：
无监督域自适应(UDA)对目标域数据进行预处理，而手工注释只在源域可用。以往的方法在忽略类信息的情况下，会使域间的差异最小化，从而导致不一致和泛化性能低下。目前，虽然有ImageNet这种庞大的拥有精确标记的数据集，但是对于每个特定的目标域或任务，手工标签往往很难或很昂贵，域内标记数据的缺乏阻碍了数据拟合模型在实际问题中的应用。本文提出的CAN网络（Contrastive Adaptation Network）优化了一个显式地对类内域差异和类间域差异建模的新度量，设计了一种交替更新 （alternating update）的培训策略，可以端到端（end-to-end）的方式进行。
下图中，左:自适应之前，源和目标数据之间存在域移动；中：以往的方法，与类无关的调整将源和目标数据在域级别上对齐，忽略了样本的类标签，因此可能导致次优解决方案。因此，一个标签的目标样本可能与另一个标签的源样本不一致。右：我们的方法是执行跨域的类感知对齐。为了避免失配，最小化类内部域的差异，最大化类间域差异，增强模型的泛化能力。
鉴于此原因
知识点：
1.MMD距离即Maximum Mean Discrepancy（MMD）
最大均值差异（Maximum Mean Discrepancy, MMD）是用来衡量再生希尔伯特空间中两个概率分布之间差异的指标。它属于核方法的一种。计算两个随机变量之间的距离公式为：
其中k(.)是映射，用于把原变量映射到高维空间中。X,Y表示两种分布的样本，F表示映射函数集。
基于两个分布的样本，通过寻找在样本空间上的映射函数K，求不同分布的样本在K上的函数值的均值，通过把两个均值作差可以得到两个分布对应于K的mean discrepancy。寻找一个K使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计量（test statistic），从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。更加简单的理解就是：求两堆数据在高维空间中的均值的距离。
近年来，MMD越来越多地应用在迁移学习中。在迁移学习环境下训练集和测试集分别取样自分布p和q，两类样本集不同但相关。我们可以利用深度神经网络的特征变换能力，来做特征空间的变换，直到变换后的特征分布相匹配，这个过程可以是source domain一直变换直到匹配target domain。匹配的度量方式就是MMD。
2.CDD(对比域差异)
将类内域差异最小化以压缩类内样本的特征表示，将类间域差异最大化以将彼此的表示进一步推离决策边界。对于两个类c1, c2(可以相同，也可以不同)，平方DH(P, Q)的核均值嵌入估计为
CDD计算为
3.CAN(Contrastive Adaptation Network)对比适应网络
提取通用特征的卷积层展现出更高的跨领域适应性，在全连接(FC)层中能够同时反映抽象属性与领域特定特征的能力较强。本文从ImageNet预训练网络ResNet出发，在其最后一层FC进行任务相关的调整，并按照减少前一层域别差异的一般原则完成反向传播下的卷积层参数更新（即微调）。接着，在目标网络中容易整合CDD模块作为激活函数以实现自适应能力。因此，在此基础之上构建出对比适应网络(CAN)，其核心优势在于能够有效融合通用特性和领域特定信息。
在深度CNN架构中，则需在各FC单元上最小化CDD：
此外，我们通过最小化交叉熵损失来训练带标记源数据的网络：
因此，总体目标可以表述为：
模型：
CAN的结构如图：
CAN的目标函数优化过程采用了交替优化策略，在聚类更新目标标签假设与特征表示自适应训练之间找到了平衡。在聚类阶段中（即每一轮循环中的四个核心步骤），我们基于目标样本当前的特征表示进行了球面K均值聚类操作。其中每个类别集群初始化为其内部源数据集的质心位置，并确保集群数量等于底层分类器划分出的目标类别数目。对于那些无法可靠归类的对象实例（即那些距离附属于其所属集群中心较远的数据点）以及那些附属于某些集群但其周围缺乏足够代表性的目标样本实例（即分布稀疏的目标类别），我们都进行了移除处理以提高分类准确性。而对于网络参数自适应的过程，则是将标记信息融入多层神经网络模型中进行特征提取，并利用领域特定性状的设计来估计目标函数值CDD。此外，在每一轮循环中依次执行四个核心步骤（步骤1至4），随后完成五个更新子步骤（步骤5至11）后进入下一循环周期。
成果：
下图为Office-31和VisDA-2017数据集展示：
数据集划分为两种类型：Office-31和VisDA-2017。其中Office-31被划分为三个子领域：包括amazon网站（Amazon domain）、web摄像头（Webcam domain）以及数字单反相机（DSLR domain）。例如，在表格中以A→W为例，则表示 Amazon 作为源领域（source domain）， webcam 为目标领域（target domain），并有 A 迁移到 W 的准确率。
该图表通过t-SNE技术展示了不同适应方法（以彩色标记）；其中左侧位置为JAN对应的t-SNE映射结果，右侧位置标注为CAN；最后一步中使用的FC层输入激活数据作为计算依据；当前实验的任务设定基于Office-31中的W →A分类基准；从实验结果来看，在保持分类精度的前提下，所提出的CAN网络在性能上显著优于传统的基于JAN的t-SNE映射方法
