论文笔记-Domain Adaptation for Structured Output via Discriminative Patch Representations

    @inproceedings{DBLP:conf/iccv/TsaiSSC19,

      author    = {Yi{-}Hsuan Tsai and
               Kihyuk Sohn and
               Samuel Schulter and
               Manmohan Chandraker},
      title     = {Domain Adaptation for Structured Output via Discriminative Patch Representations},
      booktitle = {2019 {IEEE/CVF} International Conference on Computer Vision, {ICCV}
               2019, Seoul, Korea (South), October 27 - November 2, 2019},
      pages     = {1456--1465},
      publisher = {{IEEE}},
      year      = {2019},
      url       = {https://doi.org/10.1109/ICCV.2019.00154},
      doi       = {10.1109/ICCV.2019.00154},
      timestamp = {Thu, 05 Mar 2020 13:43:22 +0100},
      biburl    = {https://dblp.org/rec/conf/iccv/TsaiSSC19.bib},
      bibsource = {dblp computer science bibliography, https://dblp.org}
    }

* （1）提出对抗的域适应框架用于结构化预测任务，显式地发现和预测输出 Patch 的模式；
* （2）本文提出的方法是对现有的域适应方法的补充，其他域适应方法可以利用本文的方法进行改进；
* （3）实验分析方法可以达到 SOTA 的语义分割性能

* 域适应方法
* 特征空间的适应

* 摘要 
  * 预测语义分割结果这样的结构化的输出通常需要大量的像素级标注数据学习监督模型，但是，一个数据域训练的模型通常难以泛化到其他没有标注数据的数据域
  * 为了解决上述的标注问题，本文设计新的域适应方法将在源域数据上训练的模型迁移到新的数据域，本文提出学习图像源域中的 patch 对应的特征表示，以此发掘输出分布中的 patch 级的分布信息，通过这样的信息作为指导，使用对抗学习的策略使得目标聚类空间的 pathc 可以在特征表示上与源域数据更接近
  * 此外，本文表明，本文的模型是对现有域适应模型的补充，可以在语义分割上实现改进。对比试验和结果说明了提出方法的有效性

* 引言 
  * 大规模标注数据的使用使得深度学习在许多计算机视觉任务中得以使用，凡是这些模型在新的数据场景使用时性能难以保持，为了解决这个问题，无监督域适应用于解决不同数据域之间的性能鸿沟问题，UDA 使用无标注的目标域数据解决数据标注的问题，许多 UDA 方法已经被成功应用于图像分类任务
  * UDA 对于像素级预测任务来说更为关键，因为这些预测任务需要的标注数据获取成本更高，域适应中用于语义分割的模型主要是使用对抗学习策略将特征空间分布进行对齐，其中的对齐也可以在像素级或者输出级，除了这些工作，域适应方法中的一大关键挑战在于发现所有的数据分布模型，这也是许多生成式任务面临的问题
  * 在对抗学习中的一个关键步骤在于使用卷积网络的判别器用于将图像 patch 判断是在源域还是在目标域，但是这个判别器并不能做为监督信号捕获数据分布中的多种模式，使得模型最终智能发现一些低层的纹理等数据域之间的分布特征的不同。此外，对于语义分割任务而言，捕获适应高级模式使得结构化的输出空间得以改进
  * 在本文工作中，提出新的 UDA 方法，可以显式地发现语义分割这样的结构化的输出中的许多不同的模式，进而学习到更好地用于判断数据是哪个数据域的，本文利用像素级的语义标注合成数据，而不是直接在输出空间进行，本文的适应主要是两阶段的：（1）从源域提取图像 patch，将这些 patch 使用对应的标注数据进行主要模式的发掘，使用 K 均值聚类进行，将图像 patch 聚为 K 个类别，每个源域中的 patch 被指定到一个真实的类簇中或者模式中，使用 K 分类器对每个 patch 的类簇进行估计，这个过程在源域中是监督的，目标域则不一定。（2）本文和其他的输出空间对齐的方法不同，本文主要在 patch 级进行操作，通过 将特征投影到已经发现的不同 patch 模式类簇中，在 K 维的概率向量空间进行操作，这和之前的在像素级、特征级、输出级进行操作的方法不同，学习到的聚类空间中的判别器可以将类簇或者模式分类器的梯度反向传播给语义分割网络
  * 本文实验在不同的合成到真实的转换数据场景进行，并利用对比实验验证提出框架的各组件的有效性
  * 本文主要贡献：（1）提出对抗的域适应框架用于结构化预测任务，显式地发现和预测输出 Patch 的模式；（2）本文提出的方法是对现有的域适应方法的补充，其他域适应方法可以利用本文的方法进行改进；（3）实验分析方法可以达到 SOTA 的语义分割性能

* 相关工作 
  * 用于图像分类的 UDA 方法：传统使用手工构造特征将不同于之间的差异最小化、利用 DNN 学习域无关的特征表示；对抗学习策略将极大均值差异进行最小化
  * 用于语义分割的 UDA 方法：基于图像分类的拓展，合成数据域真实数据在全局特征表示层面的对齐；目录相关的先验只是的迁移；SVM 分类器对捕获标签分布的作用
  * 学习不同形式的特征表示：对不同任务的理解，使用预定义的因子学习中间的可转换的图像表示，例如学习不同的图像转换中的图形模式

* 方法 
  * 概览 
* 给定源域和目标域数据 $I_s,I_t \in \mathbb R^{H \times W \times 3}$ 和源域的像素级标注 $Y_s$，本文主要目标在于学习可同时作用到两个数据域的语义分割模型 $G$，由于目标域无标签，本文目标在于将预测的目标域数据的输出分布 $O_t$ 和源域的输出分布 $O_s$ 进行对齐，但是，这样的分布无法判断图像 patch 中的局部差异，因此无法发掘图像中的不同的模式，为了解决这个问题，本文将图像分类目录中的目录信息投影到聚类空间，对于目标数据，使用对抗学习策略将 patch 级的分布信息在 K 维的空间中进行对齐
* 本文意图在聚类空间中对 patch 进行对齐，使得聚类空间中的不同的 Patch 模式得以利用，这个过程可以看成是学习输出 patch 的原型表示特征，本文主要介绍本文如何建立聚类空间以及如何学习具有判别性的 patch 表征的；并介绍使用学习到的 patch 表征如何进行对抗式的对齐

  * patch级的对齐 
* patch 模式发掘：为了发现 patch 中的模式，并学习判别性强的特征空间，将类标签或者预定义的因素作为监督信号是一种常见的作法，但是，对于每个 patch 指定一个类别是不容易的，或许可以使用无监督的 patch 聚类，但是这样无法保证聚类后的patch 可以是有语义含义的 patch 在同一类。本文使用像素级的源域数据标注建立语义 Patch 表征空间，使用标签分布的直方图进行 Patch 的特征学习，首先从源图像中随机采样 patch，使用 2x2 的网格在图像中抽取空间标签直方图，然后将这些直方图拼接得到 $2*2*C$ 的向量；利用 K均值聚类算法对直方图进行聚类，因此将每个真实的标签 patch 分类到特定的聚类类别中，将发现每个 patch 对应的真实标签图的聚类关系的过程定义为 $\Gamma(Y_s)$
* 为了利用该聚类空间进行分割网络的训练，本文在与预测的输出结果之上添加分类模块 $H$，试图预测所有位置的类簇属性 $\Gamma(Y_s)$，本文将学习到的特征表示记为 $F_s=H(G(I_s)) \in (0,1)^{U \times V \times K}$ ，其中的 K 是类簇数量，此处，空间图 $F_s$ 中的每个点对应到输入图像中的一个 patch，所以可以对于每个 patch 通过 $\Gamma(Y_s)$ 获取组标签，然后学习过程可以形式化为交叉熵 $\mathcal L_d(F_s,\Gamma(Y_s);G,H)=-\sum_{u,v}\sum_{k \in K}CE^{(u,v,k)}=-\sum_{u,v}\sum_{k \in K}\Gamma(Y_s)^{(u,v,k)}\log(F_s)^{(u,v,k)}$
* 对抗式对齐：将目标 patch 与源域聚类空间进行对齐，利用 $F_s$ 和 $F_t$ 之间的对抗损失进行，patch 级的特征 F 可以在目录分布 O 转换为聚类空间的 K 维向量，将 Patch 分布的对齐形式化为对抗目标 $\mathcal L_{adv}(F_s,F_t;G,H,D)=\sum_{u,v}\mathbb E[\log D(F_s)^{(u,v,1)}]+\mathbb E[\log (1-D(F_s)^{(u,v,1)})]$
* 学习目标 $\min_{G,H} \max_D \mathcal L_s(G)+\lambda_d\mathcal L_d(G,H)+\lambda_{adv}\mathcal L_{adv}(G,H,D)$