论文笔记 —— 《Self- ensembling for visual domain adaptation》

论文笔记 —— 《Self- ensembling for visual domain adaptation》

核心

Laine & Aila

大Pi模型通过同一个分类器对每个未标记样本实施两次处理，在不同设置下的降噪因子、噪声强度和图像变换参数之间形成了差异性操作机制。其无监督损失则由每一个样本生成的两个表示所计算出的类概率预测平方差取其平均值得出。
时间模型致力于维持历史网络在进行新批次预测时表现出的高度准确性，并旨在引导后续预测结果趋向于与已有数据集中的均值相一致。

Tarvainen & Valpola

3. 在原有基础上进一步优化了Laine&Aila（2017）的时间模型框架，在权重更新机制上采用了网络权重的指数移动平均值 ，而非基于类预测的方法。
4. 该方法采用了两个子网络结构：学生网和教师网

学生们在接受课程中学习梯度信息以及权重参数。这些知识的学习能够使他们达到与教师相当的学习水平。通过引入不同辍学率设置、噪声干扰以及图像平移操作的变化策略来优化学生与教师预测结果之间的均方差。

以梯度下降算法为基础进行训练的是学生网络模型；与此同时，在构建过程中的 teacher 模型权重参数等于其对应位置上 student 模型各层参数的指数加权平均值。在数据流传输环节中,对于每一个输入样本 XI, 在完成前馈计算后会依次传递至 student 和 teacher 网络,并分别输出为类概率向量 ZI_sub_s (来自学生的) 和 ZI_sub_t (来自教师的)。值得注意的是,考虑到不同需求,在设计学习策略时分别采用了不同的衰减系数、噪声强度以及图像变换策略

知识点

1. Auto-encoders（自动编码器）是一种无监督的神经网络模型，在其架构中首先将输入数据映射到潜在空间中，并通过解码过程将其重构回原始输入空间。
2. Ghifary提出的模型旨在通过源领域与目标领域的重建任务生成对应的样本。
3. Bousmalis团队开发了一种分割模型，在这种设置下潜在表示被划分为共享领域无关特征以及特化于源领域和目标领域的专用属性。
4. Ganin and Lempitsky提出了一种分叉式分类方法，在公共特征提取模块之后分别构建标签识别分支与领域识别分支，并在两支分支之间引入了梯度反转模块；当识别模块试图判断样本来自经过梯度反转处理后的哪一领域时，则会促使主网络通过学习Domain-invariant（领域无关）特性来混淆这一判断过程。

我们的模型

1. 该监督信号通过基于zi（学生预测）的计算得到的交叉熵损失与Mean Teacher方法具有相似性。
2. 在多域环境下进行同步训练