《Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition》论文笔记
中山大学、商汤科技
该方法通过整合深度神经网络框架与丰富的专业知识……
通过大量的 知识图谱 存储了视觉概念，并主要依赖于Gated Graph 神经网络来传递节点消息从而形成了知识表示体系
通过采用一种新型门控机制，我们的KERL框架成功地将其应用于图像特征识别学习的过程中。（1）丰富的嵌入信息显著提升了特征表示的效果，并有助于区分不同类别的细微差别。（2）我们的框架在设计时采用了合理的配置来学习特征映射关系，在这一过程中，“highlighted regions 与 知识图谱 的节点（即特定属性）之间形成了完美的对应关系。
数据集：Caltech-UCSD bird dataset
人类依靠其观察到物体外形以及从日常经验或职业相关知识中进行物体识别任务。这些知识通常是建立在复杂视觉概念体系上的，并且这个体系包括类别标签及其特性。在细粒度图像分类方法中使用属性来区分子类别。
传统图像识别方法未能充分运用这一知识，并仅依赖于低级图像特征。例如，在分类不同子类别时采用了基于部分的模型（Part-based Models）以及视觉注意力网络（Visual Attention Networks）来定位区分性的区域或部分。然而，基于部分的模型（Part-based Models）对object parts进行了密集注释。由于缺乏有效的监督或指导机制，视觉注意力网络仅能勉强定位这些区域，并未在大规模数据集上得到广泛应用。
本文采用自然语言描述以辅助搜索具有重要信息的区域，并将视觉流融入最终预测过程。然而该方法直接建模了图像与语言之间的关联，并且其中每个图像都需要详尽的语言描述。
本论文基于知识图谱的形式进行组织管理和知识库构建，并提出KERL框架用来整合知识图谱与图像特征学习以实现细粒度的图像识别。
两个重要组件包括：1）Gated Graph Neural Network（GGNN）通过在图结构中的传播节点间的信息来构建基于知识的知识表示；2）引入了一个新型的门控机制，在此基础之上实现了对这一表示与图像特征的整合，并从而学会提取属性相关的特征
具体来说，则首先构建一个大型的知识图谱，并将类别标签与部分级别的属性关联起来。基于提供的图像信息初始化图节点后，则我们KERL框架能够粗略推断出图像中具有鉴别能力的属性，并将其与特征图关联起来。
我们的KERL框架能够通过有意识地配置实现具有意义的feature maps学习；同时被强调显示的区域能够与图中相关的attributes关联起来。
贡献：1）创新的知识图谱嵌入式表示学习框架。该框架结合了高阶知识图谱作为图像表示学习的额外指导。2）基于知识引导，我们的框架实现了属性感知特征映射这一目标，并在此基础上构建了具有意义且可解释性的配置体系：通过突出显示的区域与图像中的属性建立了关联。3）该研究通过Caltech-UCSD鸟类数据集验证了方法的有效性。
