《Zero-Shot Recognition via Semantic Embeddings and Knowledge Graphs》论文笔记

目录

abstract

introduction

---

abstract

zero-shot 识别问题：

• 学习如何建立未配对实例的类别对应的视觉分类器模型。
• 基于提供的图像数据集进行操作：首先提取目标类别及其对比其他类别关系的词嵌入；接着利用这些特征进行模型训练。

解决方法： 将相似类的知识转移到这个类来描述这个类。

---

在此基础上提出了一种方法，在现有图卷积网络（GCN）框架下推断视觉分类器的类别标签。对于学习得到的知识图谱（KG），其中每个视觉相关的节点通过将预计算的semantic embeddings作为输入进行处理。经过一系列图卷积操作后，在知识图谱中各节点被推断出与其相关的类别标签。

在训练过程中，用于训练一小部分category类别中的视觉分类器以学习GCN模型的参数。测试阶段中，通过滤波器预测未曾见过的类别中的视觉分类器。

本方法在KG中对噪声是鲁棒的。

---

introduction

• zero-shot ==> 从已知的相似标签来进行泛化。
• transferring knowledge：1.隐式知识表示（如semantic embedding），首先使用text data 来学习到不同categories的向量表示 ，然后学习一个向量表示和视觉分类器（visual classifier）之间的映射。 但是这种方法的向量本身和映射的“泛化”能力不好；而且，在结构化信息中学习semantic embedding是困难的。 2.explicit knowledge base or knowledge graph，将知识表示为objects之间的规则或者relationships。这些relationships可以用来对new categories来学习zero-shot classifiers。最简单的例子是学习组合类别（compositional catcategories）的可视分类器，将原始的视觉概念 当作分类器的输入，应用简单的合成规则 来为新的复杂概念生成分类器，但一般情况下，关系比简单合成要复杂。

---

本文提出了一种基于隐式语义表达（Word Embedding）和显式知识图谱（Knowledge Graph）的方法来实现视觉分类器的学习。其中每个节点与特定的语义类别相关联的知识图谱被构建起来，并通过关系边将这些节点连接在一起形成网络结构。在该结构中，每个节点接收来自各类别的语义嵌入，并通过6层深度GCN进行跨类别信息传播。

本实验基于图像分类问题设计了测试方案。其中将测试集限定为zero-shot场景，并未包含对应的训练类别。其中标签可划分为已知类别（seen）和未知类别（unseen），形成了广义零样本学习框架。结果显示相较于现有最先进的方法而言，提升幅度达到了惊人的18.7%。此外，在扩展知识图谱规模时表现出较强的鲁棒性

（未完）