[论文笔记] Consensus Adversarial Domain Adaptation
原文链接：https://ojs.aaai.org/index.php/AAAI/article/download/4552/4430
文章提出了一种创新性的无监督学习框架 Consensus Adversarial Domain Adaptation (CADA)，该框架允许目标编码器和源编码器各自独立达成其目标。
Objective
To enhance a classifier's generalization across domains without requiring labeled data in the target domain, the ADA method achieves this by leveraging unlabeled data from source and target domains (distinct from FADA, which does not involve target samples).
CADA Methodology
Suppose
samples
with labels
are collected in the source domain with
possible classes, 与FADA类似，训练可以分为4 steps
- 利用source domain 数据训练 source encoder
and a source classifier
- Given unlabeled data in target domain
, train a target encoder
andfine-tune the source encoder
, such that a discriminator
After applying the associated feature mapping, it is unable to determine if a sample belongs to either the source or target domain.
vs
).
值得注意的是，
和
的参数都是基于step 1训练完的
初始化， 与之前的ADDA，DIFA等model不同，source encoder
的参数在这一轮训练中并非固定。 在之前的model中， 由于
在参数固定的情况下，
特征映射由源编码器确定，并且ADAs本质上试图使目标域的目标嵌入与源域的嵌入对齐。
在这种情况下，
所获得的源编码器被视为绝对参考框架，
然而这可能会导致DA性能下降，
因为对齐可能不够优化，
特别是在目标样本无法完全嵌入施加表示空间时。
如果允许这种情况发生
的参数拥有更大的自由度，那么就有可能获得更好的域泛化能力。
3） When the
When performing Step 2, the system fails to accurately identify and distinguish between the domain labels of both target and source samples. This serves as a clear indication of a significant issue within the methodology.
and
reached consensus through mapping the corresponding input data to a common domain-invariant feature space. Then we tune the parameters of...
and train a shared classifier
using the labeled source domain data
。
可以直接用于target domain的分类，因为在step 2 中我们已经使得
and
embed the samples to the domain-invariant feature space。
- 对于target domain的testing, 我们利用step 2训练好的
将测试样本集合转移到域不变特征空间中，并接着使用共享分类器进行分析
进行target domain的分类。
综合上述训练过程，总loss function如下
F-CADA Methodology
F-CADA 和CADA大致相同，除了step3 ：
Suppose few labeled samples
The resources are accessible within the target domain. As a pivotal phase in F-CADA, we devise a label learning algorithm designed to allocate presumptive labels.
to target unlabeled samples
Following Step 2, we retrain the target encoder/decoder and construct a target classifier together with it.
using both unlabeled target samples with presumptive labels
and labeled target samples
Evaluations
CADA 和 F-CADA 的性能依旧主要依赖于 常见的 digit 识别任务：该方法旨在实现 在 MNIST、USPS 和 SVHN 数据集上的 digit 识别任务；另外，在 WiFi 数据集上还涉及 目的是实现 空间适应性 以满足 Wi-Fi 网络中设备自由的手势识别需求。
