Knowledge Embedding Based Graph Convolutional Network
研究问题
开发出一种能够有效整合异构节点数据及其关联关系的新方法，并构建基于这一创新思路的知识图谱卷积网络KE-GCN模型。该模型通过动态调整各层参数以实现最优特征提取，并将其整合进现有的知识图谱处理体系中。
背景动机
- 现有主流的图卷积模型通常忽视了边向量的学习能力，并且难以处理异构关系下的边信息
- 在知识图谱领域中，现有的多数嵌入学习方法未能充分挖掘图结构中的潜在信息
- 虽然这些模型确实能够学习节点与边各自的表征特征，在实际应用中发现这些模型往往将注意力集中在基于关系的信息更新上，并未对称地进行节点与边的信息交互
模型方法
- 重新解释邻居聚合公式
传统GCN对非异构边的邻居聚合公式可以表示为
现在引入得分函数f估计每条边的置信度，假设对于边
，其置信度对应两个节点嵌入的内积，即
，等式**(1)**可以重写为以下对f进行求导的式子
此时，等式**(2)**中的
就可以看作是一步梯度上升，以最大化
基于此可知整个聚合流程的核心目标就是使其达到最高水平以确保各条边之间的关联程度最大化
- 模型框架
现在考虑知识图谱中的异构边，也就是边会有多种类型，得分函数表示为
，将得分函数进一步细化为入度和出度两部分，新的邻居聚合公式写作
上面是实体嵌入的更新公式。下面是关系嵌入的更新公式，其中
其计算图示如下，先计算f，再对其导数进行聚合
为了减少参数量，设置
，并对实体和关系的嵌入进行规范化，即计算
及
代入具体模型
几种不同模型计算过程的区别如下
- CompGCN
- 原始实体更新公式
- 原始关系更新公式
- 代入论文公式
R-GCN
实体更新公式
代入论文公式
W-GCN
实体更新公式
代入论文公式
实验部分
- 候选得分函数
- TransE：
- DistMult：
- TransH：
- TransD：
- RotatE：
- QuatE：
- 知识图谱对齐
本研究的目标是识别两个知识图谱中对应于同一个现实世界实体的知识图谱内的实体。论文采用基于两个共享参数的GCN模型分别对两个知识图谱计算得到的实体嵌入之间的距离作为对齐依据。在模型训练过程中所使用的损失函数被定义为最小化对齐实体间的距离并最大化非对齐实体间的距离。
不同模型以及不同损失函数的效果如下
- 实体分类任务
评价
这篇论文相当于对CompGCN进行了一定程度上的优化，在处理关系嵌入时也考虑了关联的实体信息。尽管只有一个创新点，但写作风格非常出色，在处理邻居节点的聚合过程进行了重新阐述，并从新的角度介绍了其方法。论文存在三个值得注意的问题：一是未呈现实体分类模型的具体实验结果（对比实验中使用的模型均为实体分类类型），却给出了实体对齐相关的实验结果；二是引发了关于其在实体分类任务上实际效果的质疑；此外，在卷积深度方面，该研究采用了四层结构；同时指出该论文缺乏针对卷积深度影响的消融实验。