TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure
研究问题
研究知识图谱上的嵌入模型来分析RHS的关系层次结构。建立一个向量空间模型与一个球体模型，并通过计算向量差值与两者之间的相对位置来反映关系的层级结构。
背景动机
- 早期主要依赖聚类分析的方法由于其固定的层次结构而难以全面体现知识图谱上各种复杂的关系。
- 在分析过程中引入层次结构可能会导致关系嵌入的变化；这种变化不仅会影响trans模型本身还会使得trans模型和其他实体的嵌入也会相应调整；这种变化可能导致整体模型的效果出现下降。
问题定义
由于其中 athLedTeam 被视为属于或细分于 athPlaysForTeam 这一层次，在分析最低层构成的三元组信息后
由多个相关联的子关系构成的一个树状层次结构如下所示，其中根节点标记为r_0}。在第i-1}层中具有编号j}的位置上存在一个子关系记为r_{j}^{(i)}}}，其中n_i}表示第i-1}层中总的子关系数目。若将第k-1}层中的某个子关系标记为r_{j}^{(k)}}}（此处j=1,2,\ldots,n_k}})），则从根节点到该特定节点的路径可表示为：P_{r_0}^k = \{r_0}, r_{j_1}^{(1)}, r_{j_2}^{(2)}, \ldots, r_{j_k}}^{{k}}\}
将 subRelationOf 替换为 sro 后，则知识图谱的关系集合可重新定义为：
R = (\{s r o\} ∪ R_l)
其中三元组集合 T 可划分为两个子集：
T_r = \{(r, s r o, p) | r ∈ R_l ∧ p ∈ R_l\}
以及
T_e = \{(h, r, t) | h ∈ E ∧ t ∈ E ∧ r ∈ R\}
在此基础上，在正三元组的集合 \Delta 中存在以下推理规则：
- 若 (h, r, t) ∈ T_e 且 (r, s ro, p) ∈ T_r ，则必有 (h, p, t) ∈ \Delta；
- 若 (r, s ro, p) ∈ T_r 且 (p, s ro, pp) ∈ T_r ，则必有 (r, s ro, pp) ∈ \Delta.
模型方法
对于任意三元组(h, r, t) \in T_{e}以及(r, s r o, p) \in T_{r}，TransRHS模型通过实体及关系学习嵌入\mathbf{h}, \mathbf{t}, \mathbf{r}, \mathbf{p} \in \mathbb{R}^{d}实现对这些三元组的学习与推理过程。具体而言，在理想情况下满足以下条件：首先，并使p对应的嵌入位于以m_{1}为半径的球体内；其次，并使r对应的嵌入位于以m_{2}为半径的球体内；接着，在这种设定下定义两个距离指标d_{1}=\|\mathbf{h}+\mathbf{p}-\mathbf{t}\|_{2}和d_{2}=\|\mathbf{h}+\mathbf{r}-\mathbf{t}\|_{2}；最后，在这种设定下要求d_{1}=d_{2}=0成立。
不满足假设的可能情况有如下几种：
针对几种情况来定义损失函数以校正
将上述两层的右侧进行扩展。假设存在两个子关系三元组(r, s r o, p) 和 (p, s r o, p p)。其中s_1, s_2, 和s_3分别对应着p_p, p, 和r所代表的球。在理想情况下，满足以下条件：所谓的层次结构表征着越靠近根节点的位置（即离上层较近），其对应的球体半径越小，并且其覆盖范围更为精确。即层次结构表征着越靠近根节点的位置（即离上层较近），其对应的球体半径越小，并且其覆盖范围更为精确。这里的球半径实质上是一种误差容忍范围。
局限性之一是，在关系层次过于复杂的情况下会导致球体半径显著增大，并可能会违背TransE模型的核心假设即\mathbf{h}+\mathbf{r} \approx \mathbf{t}这一基本原理。针对这一局限性，论文提出了一种通过逐步减小层间半径差异的方法来改进模型性能：具体而言就是令m_{(i)}-m_{(i-1)}: m_{(i+1)}-m_{(i)}=\eta:(1-\eta)成立（其中\eta取值于区间(0.5,1)），其核心思想在于使各层之间的半径差按等比级数递减。
最终损失函数定义为L = L_{ORI} + L_{RHS}，其中
L_{ORI}是一个双求和的表达式：
L_{ORI} = \sum\limits_{{(h,r,t)\in\Delta}} {\sum\limits_{{(h',r,t')\in\Delta'}} {{[γ + f_r(h,t) - f_r(h',t')}]}_+}
L_{RHS}则表示为：
L_{RHS} = \sum\limits_{{(r,sro,p)\in T_r}} {\sum\limits_{{(h,r,t)\in T_e}} {f_RHS(h,r,t,p)}
实验
在两个很简单的数据集上做了实验，直接给出了关系层次结构
由于训练过程需要生成负样本，在论文中提出了两种负样本生成方法。第一种方法采用bern策略，在给定三元组(h, r, t)的基础上，通过随机打乱的方式得到新的三元组(h', r, t')或(h, r, t')；第二种方法采用unif策略，基于关系的映射规律对头实体和尾实体进行采样的概率分布。
评价
思路较为创新的想法面临数据量不足的挑战。对于如何预判复杂的关系网络结构这一关键问题尚无明确解决办法；此外，在面对深层关联时能否维持原有的效果水平也值得进一步探讨。