Multi-Label Classification with Label Graph Superimposing
首先基于统计共现信息构建并将其叠加至由标签知识先验构建的基础标签网络之上,在此基础上进而构建出反映各节点间关联程度的标签相关性模型。最后通过多层图卷积网络对整合后的网络进行深入学习与抽象提取。
其次, 我们采用整体标签系统嵌入以更加有效地表示学习. 在各层次中分别引入GCN与CNN的横向连接结构以整合标签系统编码, 在特征学习阶段辅助识别类别信息.
在MSCOCO和Charades两个数据集上进行了一系列系统的实验研究,并通过大量样本数据的有效利用,在方法实现上取得了显著进展。实验结果表明,在分类准确率方面所提出的方法表现出了明显的优势,并且达到了最新的最高水平。
KSSNet的标签图叠加深度卷积网络
1.基于知识的图叠加到基于统计的图中来构建最终的标签系统关系图
2.设计了一种新的CNN和GCN叠加网络来提取标签结构感知描述符
给定输入X,在多标签分类任务中预测其标签的具体表现为两阶段映射y = F₁ ∘ F₀(X),其中部分说明了CNN特征提取的过程为F₀: X ↦ f(将输入X转换至特征空间f),而另一部分则描述了从特征空间到标签空间的转换关系F₁: f ↦ y(将特征f映射至输出空间y)。值得注意的是,在训练过程中只有在最终阶段才会明确考虑标签信息。由此引发的问题在于:对于一个多标签分类任务而言,在相互关联的标签空间中是否存在并如何以显式的途径促进对特征学习过程(即第一层映射)的支持?
传统方法:CNN进行提取特征+用图训练一个标签分类器

一个标签分数的预测
本节提出了一种改进方法:我们通过在多层次构建了一个融合框架,在其基础之上增加了基于标签系统的联合学习机制,并在此框架下实现了特征提取过程中的信息融合功能


图:G = (V,E,A)
统计图:GS= (V,ES,AS)
知识图:GK= (V,EK,AK)
;AK是根据人类创造的知识图概念网而获得的

;AK是根据人类创造的知识图概念网而获得的