DTC(Deep Temporal Clustering--Fully Unsupervised Learning of Time-Domain Features)论文理解
DTC网络模型图：
整体网络模型的损失函数为：重构损失+聚类损失，即MSE+KL
一、MSE
通过TAE(temporal autoencoder)层，在计算输出与输入之间的重构损失MSE的基础上进行评估；具体而言，该TAE层的网络架构如图所示。
二、聚类层
初始化质心：首先通过对所有样本潜在特征实施层次聚类分析，并采用complete linkage策略将数据划分为若干子群体；随后执行k切割操作以获得预设数量k的所有独立子群体；最后针对每个子群体中的数据点取其均值向量作为初始质心位置。
训练流程包含两个关键步骤：
第一步：对于每一个待分类对象x_i，在其属性空间中找到与其最邻近的一个质心w_j；此时若x_i与w_j之间的距离越近，则x_i被分配到该w_j所在类别中的概率值越大。
第二步：通过优化损失函数来重新计算各个质心的位置；所采用损失函数基于目标分布p的最大化原则，并基于高置信度分类效果展开优化。
举例说明时取两分类情况：
输入的z值与每个簇中心w之间的相似性关系被提取出来，并通过Student’s t分布核将其转化为各个簇的概率分布。目前所采用的相似性度量方法包括CID、COR、ACF以及EUCL四种指标。为了使qij与pij之间的KL散度最小化，则需要训练聚类层模型。为此定义损失函数L=∑i=1n∑j=1kpijlog(p_{ij}/q_{ij})L=\sumn_{i=1}\sumk_{j=1}p_{ij}\log\frac{p_{ij}}{q_{ij}}其中n表示样本总数目,k代表类别数目
三、DTC优化过程
由于簇中心的初始值设置较大程度地影响最终结果, 因此在此阶段我们对模型进行预训练以期获得更有意义的潜在空间z. 步骤如下: 首先执行步骤①, 即完成pre training操作; 接着在步骤②中, 利用基于complete-linkage层次聚类的方法确定初始簇中心位置; 最后, 利用梯度下降方法分别对生成器网络和各簇中心进行参数优化, 其中每一步都基于当前的目标分布p(z|xn)来进行迭代更新