Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记

Rule-Guided Compositional Representation Learning on Knowledge Graphs

1.表示学习知识图谱（KG）是将KG的实体和关系嵌入到低维连续向量空间中。

2.可以使用Horn规则在语义级别上组合路径和关联关系，以提高学习路径上KG嵌入的精度，并增强表示学习的可解释性。

3.DPTransE共同构建了KG的潜在特征和图形特征之间的交互，以提供精确而有区别的嵌入。

4.路径增强模型：由于多跳路径可以提供KG中看似未连接的实体之间的关系，因此KG中存在的路径已受到更多关注，可以与KG嵌入相结合。

5.论文提出了一种新颖的基于规则和基于路径的联合嵌入（RPJE）方案，该方案利用了逻辑规则的可解释性和准确性， KG嵌入的一般化以及路径的补充语义结构。特别是，首先从KG中提取以Horn子句形式存在的不同长度（规则主体中的关系数）的逻辑规则，并精心编码以表示学习。然后，使用长度为2的规则来精确地组成路径，而明确使用长度为1的规则来创建关系之间的语义关联并约束关系嵌入。而且，在优化中还考虑了每个规则的置信度，以保证将规则应用于表示学习的可用性。

1.Logic Rules Extraction from KG**：** 从KG中挖掘规则及其置信度，表示为μ∈[0,1]。 具有较高置信度的规则具有较高的保持可能性。将有效规则的最大长度限制为2。

R1：长度为1的规则集，关联规则主体和规则头中的两个关系。

R2：长度为2的规则集，可用于组成路径。

一些规则R1和规则R2的示例：

2.Rules Employment for Compositional Representation Learning**：** 首先通过PTransE在KG上执行路径提取过程，其中每个路径p及其可靠性 都通过路径约束资源分配机制获得，并表示为R****（p | h****，t****） 在实体对（h，t）之间。通过选择实体对（h，t）之间的路径（其可靠性超过0.01）来生成每个路径集P****（h****，t****） 。特别是，必须由规则R2中每个规则主体的原子形成一个顺序路径以构成路径。对每个规则进行编码，以形成其规则主体的定向路径。

同时需要考虑到可以同时在路径中匹配多个规则的情况，应选择置信度最高的规则来构成路径。为了表示学习，需要将（a，r2，b）⇐（b，r1，a）形式的规则编码为（a，r2，b）r（a，r1-1 ，b）。

3.Compositional Representation Modeling**：** 定义了三个能量函数分别与直接三元组以及典型的基于翻译的方法，使用规则R2和使用规则R1的关系对：

E2（p，r）表示评估路径p与关系r之间相似性的能量函数。C（p）表示路径p的合成结果，它是根据2（Rules Employment for Compositional Representation Learning）中说明的路径合成过程获得的。B（p）= {μ1，...，μn}表示与构成路径p的过程中使用的规则****R2 中的所有规则相对应的置信度级别集合 。E3（r，re）是能量函数，指示关系r和另一个关系re的相似性，并且如果re是与规则R1关联的关系r所隐含的关系，则re应当被赋予更少的分数。

4. Objective Formalization**：** 引入了成对排名损失函数来形式化用于训练的RPJE的优化目标：

D（r）定义为根据规则R1从r推导出的所有关系集，而re是D（r）中的任何关系。

三个基于边际的损失函数。 γ1，γ2，γ3是分别表示方程式5、6、7中每个损失函数的三个正超参数。三元组的权重固定为1，而α1，α2是两个超参数，分别加权路径的影响和关联对的重合度，以r表示约束。所有规则的置信度都被认为是优化中的惩罚系数。

T代表在KG中观察到的所有正三元组的集合。T-包含通过随机替换T中的实体和关系并删除T中已存在的三元组而重构的负三元组。

为了解决优化问题，使用小批量随机梯度下降（SGD）。并考虑训练效率，将路径限制为不超过3个步骤。