笔记：Semi-supervised domain adaptation with subspace learning for visual recognition (cvpr15)

本文提出了一种半监督的域自适应框架（SDASL）基于子空间学习方法构建

需要注意的是，在本研究中所采用的算法并非直接基于RGB特征的传统图像信息处理方法，而是采用了图像经过decaf深度网络第8层全连接层输出后的表征特征作为核心依据。

本文对目标函数，优化方法对工作进行了介绍，下面具体分析。
目标函数
1． 结构化风险（structural risk）
这个损失可以看成一个子空间上线性分类器的分类损失，它的表示如下：

其中我们使用w和b来代表线性分类器的关键参数。针对不同领域中的样本数据我们分别设定对应的参数向量。具体来说第一项用于衡量分类误差在这里我们选择使用L2范数作为正则化项以防止模型过拟合。该映射矩阵M的作用是从原始数据集（源域或目标域）转换到新的子空间中通过矩阵乘法X*M得到的新特征向量反映了样本在子空间中的表征。特别地我们假定任意两列都是相互正交的向量因此这些列向量彼此之间形成一个标准正交基底。

2． 结构保护（structure preservation）：在子空间问题中旨在使同类物体基于相近或相似特征进行分类与建模。即在源域或者目标域上具有相同标签的样本，在子空间中的表示应具有相似性。这可通过Laplacian矩阵的特性来实现。3． 流形正则化（manifold regularization）：流型正则化机制常用于半监督学习场景下，在这种情况下其中一部分样本拥有明确标签信息而另一部分则是没有标签信息的数据点。流形正则化机制主要关注于未标记样本的信息提取与利用其作用在于确保分类器对具有相似特性的未标记样本产生一致预测结果。具体而言本文采用基于K近邻节点构建高斯 Kernel 矩阵的方式来进行数据点间关系建模其具体形式如公式所示

其中S就是亲和矩阵，后面是衡量分类器的结果的距离。S的元素的表示如下：
通过这种方式，可以充分利用相似的无标记样本之间的关系。
模型的求解
求解这个模型并不是一个凸问题。作者将整个目标函数中的参数分为两个部分进行优化：
1． 映射矩阵m，它将观测的样本映射到一个subspace，学习它实际上就可以看作寻找子空间的过程；
2． 分类器函数w和b，它是基于子空间学习到的分类器参数，学习它可以看作在子空间上寻找合适分类界面的过程。
对于这两个部分的参数，本文通过将分类器参数用映射矩阵表示来进行模型求解：
1． 首先求得在给定映射矩阵m的条件下，求目标函数的导数，得到参数之间的关系，将分类器的参数使用子空间的参数表示。
2． 将上面的结果代入到目标函数，将目标函数表示为子空间的参数的形式。
那么整个模型的形式可以表示为：

该模型基于后续施加的正交约束而呈现为非凸特征。在面对上述非凸问题时，本文采用了结合曲线搜索技术改进传统的梯度法，并参考文献：
[1] Yin W, Wen Z. A feasible method for optimization with orthogonality constraints[J]., 2012.
通过分析各参数间的关联性从而确定分类器的最佳参数值。
随后将测试样本输入到子空间中并通过目标域已有的相关参数完成映射与分类操作最终获取分类器输出符号作为最终结果。
该优化流程的具体步骤如下：

实验：本文用decaf的第八层FC8层的输出作为本文算法的输入。