embedding entities and relations for learning and inference knowledge base

研究问题

构建了一个新型的知识表示框架，在NTN与TransE等模型的基础上实现了统一表达。该框架通过引入双线性变换机制，在实验结果中展现了显著的性能优势。同时开发了一种基于深度学习的技术路径，在复杂关系推理中展现出良好的扩展能力。

背景动机

• 目前还缺乏针对不同实体嵌入及其关联操作符选择对预测效果影响的系统性研究
• 现有的评估体系仅能说明低维嵌入的作用意义，并不能清晰解释在这一过程中具体捕获了哪些重要的关系属性
• 在知识图谱规模较大的情况下，传统规则抽取算法依赖于穷举所有可能的搜索路径来获取潜在规则，在实际应用中往往难以处理这种复杂情况。本研究则提出了一种基于嵌入表示方法的新框架，在保证性能的同时避免了与知识图谱规模相关的计算负担

模型方法

假设有以下三元组

• 实体表示

假设

和

分别对应实体

和

其高维向量表征（采用二元one-hot编码），基于神经网络参数W的情况下，则学习到的实体表征通常表示为

• 关系表示

首先区分一下基本线性变换和双线性变换

假设

，基本线性变换对应参数为

，双线性变换对应参数为

，

，

则之前的模型可以归纳为

注意TransE的计算公式是由

推导得来的

• 论文模型

论文提出了一种基于双线性的得分函数，即

其中

，一种简化参数的情况是其为对角矩阵

损失函数定义为以下内容：T'表示由负采样得到的一个样本集合；我们的目标是使该集合中所有负样本的得分函数值趋近于0，并使得正样本的得分函数值趋近于1。

实验部分

• 链路预测实验

作者在这里阐述了一些常见的技巧和方法，在每次迭代结束后对实体的向量进行归一化处理等操作

从上到下模型复杂度逐渐下降，模型效果逐渐上升

值得注意的是，在论文中所提出的算法DISTMULT与其传统TransE模型相比，在模型参数规模上是相仿的。然而，在学习关系R的过程中二者存在显著差异：一种是基于e1的加法运算处理方式；另一种则是通过逐元素乘积的方式进行处理。

不同关系上的效果比较

实体向量不同初始化方式的比较分析中发现，最优的效果来自于采用Tanh函数作为非线性激活单元，并基于预训练实体向量的方法进行设计。

• 规则抽取实验

将从实体a到实体b、且具有关系类型r的边标记为R(a,b)；Horn关系类型能够详细说明如下

在结构中, 左边部分由体相关的关系构建而成, 并形成具有方向性的路径结构, 而右边部分则由头相关的关系构建而成, 并形成一个自封闭循环的闭合路径

例子

对于关系的向量表示V（对应TransE），论文用加法来表示关系的组合

对于关系的矩阵表示M（对应DISTMULT），论文用乘法来表示关系的组合

该规则抽取算法基于距离得分为基础进行设计，在第4至第6行代码中，则采用了过滤操作来构建一个有效的搜索空间。其中Xr代表关系r对应的起始实体集合而Yr则表示对应的关系r末端实体集合。在第7至第9行代码段中，则采用基于向量嵌入计算距离的方式筛选出候选推理规则。

实验结果表明，基于乘法的规则提取比基于加法的规则提取更好

评价

因为许多研究文献都提到了DISTMULT方法,因此查阅了相关文献后发现,该方法的设计确实非常完善,其实验结果令人印象深刻,甚至相对简单的模型也能展现出出色的效果。此外,在学习获得的嵌入基础上进行规则提取实验的做法在其他相关领域的研究中较为罕见,这一做法实际上指向了因果推理的一个潜在应用方向。