关于“Deep Variational Metric Learning”

论文阅读笔记

论文标题：Advanced Variational Metric Learning
动机：现有方法通常未对类内差异进行区分，导致模型在训练集上过拟合。
创新：本研究提出一种基于深度变分度量学习的框架：

• 度量类内差异的特性，并分离出类别内在的不变特性；

• 通过生成判别样本来增强模型的鲁棒性。

  4. DVML的网络结构：

损失函数：
L = \lambda _ { 1 } L _ { 1 } + \lambda _ { 2 } L _ { 2 } + \lambda _ { 3 } L _ { 3 } + \lambda _ { 4 } L _ { 4 }
\begin{aligned} \mathcal { L } \left( \theta , \phi ; \mathbf { X } _ { b } \right) & \approx \frac { 1 } { 2 B } \sum _ { i = 1 } ^ { B } \sum _ { j = 1 } ^ { J } \left( 1 + \log \left( \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right) - \left( \mu _ { j } ^ { ( i ) } \right) ^ { 2 } - \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right) \\ & + \frac { 1 } { T B } \sum _ { i = 1 } ^ { B } \sum _ { t = 1 } ^ { L } \log p _ { \theta } \left( \mathbf { x } ^ { ( i ) } | \mathbf { z } ^ { ( i , t ) } \right) \\ & \triangleq L _ { 1 } + L _ { 2 } \end{aligned}
L _ { 1 } = \frac { 1 } { 2 B } \sum _ { i = 1 } ^ { B } \sum _ { j = 1 } ^ { J } \left( 1 + \log \left( \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right) - \left( \mu _ { j } ^ { ( i ) } \right) ^ { 2 } - \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right)
L _ { 2 } = \frac { 1 } { T B } \sum _ { i = 1 } ^ { B } \sum _ { t = 1 } ^ { T } \left\| \mathbf { x } ^ { ( i ) } - \hat { \mathbf { x } } ^ { ( i , t ) } \right\| _ { 2 }
\mathcal { L } \left( \theta , \phi ; \mathbf { X } _ { b } \right)近似表示类内方差模型的损失函数，L1保证类内方差（variance）的分布为各向同性中心高斯分布，L2保证类内方差保持样本特定的信息。
L _ { 3 } = L _ { \mathrm { m } } ( \hat { \mathbf { z } } ) 这里\hat { \mathbf { z } } = \mathbf { z } _ { I _ { k } } + \hat { \mathbf { z } } _ { V }通过\mathbf { z } _ { I _ { k } }想强调不同的类有不同的类内方差.
L _ { 4 } = L _ { \mathrm { m } } \left( \mathbf { z } _ { I } \right)这里L _ { 4 }用于约束类内不变性。