【论文笔记】SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

SSP: Meaningful Domain Mapping for Knowledge Graph Representation with Text Descriptions and Annotations

摘要

知识图谱嵌入技术将知识图谱中的实体和关系表示为低维连续向量形式，并使其能够与机器学习模型兼容。尽管目前已有大量知识图谱嵌入模型已被提出，在这些模型中大多数仅关注于事实三元组的学习过程，并未充分挖掘实体和关系的补充描述信息。本文提出了一种新的SSP方法，在这一方法下通过综合运用事实三元组与文本描述两种信息资源，并在此基础上实现了实体语义与关系语义之间的相互促进，在这种交互机制下利用文本描述能够发现实体及关系的语义关联性从而提高嵌入表达的效果准确性。大量的实验研究表明该方法在知识图补全任务以及实体分类性能上较之前的方法带来了显著提升效果有关该研究的具体内容可在网站http://www.ibookman.net/conference.html进行详细查阅

Background

在NLP领域中，知识图谱嵌入方法对多个研究方向产生了深远影响。为了生成低维且连续的向量表示，众多学者投入了大量研究工作。其中 notable 的包括 TransE、PTransE 和 KG2E 等模型。

知识图谱嵌入的主要分支之一就是基于平移模型的主要思路：将头部实体映射到尾部实体上h + r = t。尽管传统的嵌入方法已经取得了显著成效但仍值得深入研究文本增强技术以提升其表现力。

1）识别实体间的语义关联性。这些关联性能够帮助识别出正确的三元组,仅凭事实三元组进行推断是不够可靠的。通过将损失值投影到表示实体间语义关联性的超平面来评估三元组的可能性,只要投影到该空间上的损失向量具有足够的小l2范数,就可以认为该三元组是正确的

2）实现对语义信息的精准捕捉。例如，在查找"张三"这个人时可能会遇到两种情况：一是音乐家张三（歌手），二是罪犯张三——单纯依赖于这种基础单元来进行区分显得颇为困难。但一旦文本描述中充斥着诸如"唱歌"、"专辑"、"粉丝"等关键词，则能够迅速分辨出具体指涉的对象——正是通过细化语义表征的过程使得嵌入效果更加显著。

现有模型尚未有效解决的问题是弱关联建模问题。当前模型无法准确表征文本与三元组之间的强相关性。本文提出通过将三元组映射至超平面这样的语义子空间来实现

本文模型

本文提出了一种名为SSP的新模型，在评分函数的设计中采用了基于平移的方法这一特点使得三元组嵌入特别关注于损失向量的方向与大小。研究者们基于特定动机假设损失向量具有固定的长度并致力于最大化其在超平面上的表现通过调节参数λ来平衡两个方面：
f_{r}(h, t)=-\lambda\left\|\mathbf{e}-\mathbf{s}^{\top} \mathbf{e s}\right\|_{2}^{2}+\|\mathbf{e}\|_{2}^{2}
其中 e=h+r-t \mathbf{s} 为图2所示 semantic超平面 的法向量方向 \mathbf{S}^{\top}\mathbf{e} 表示\mathbf{e}在法向量\mathbf{s}上的投影长度再乘以\mathbf{s}即得到\mathbf{e}在该法向量方向上的投影结果而 \mathrm{e}减去这一投影即得到\mathbf{e}在 semantic超平面 上的具体位置

基于topic模型生成语义向量，并将每个实体描述视为一个独立的文档。通过分析文档中的主题分布来构建实体的语义表示。在知识图谱中，默认情况下实体通常以主题形式组织结构以实现这一目标。然而，在训练过程中会不断更新并重新填充这些表示信息以避免过度依赖单一主题而导致的知识模糊性问题。为了提高表示效果作者决定结合两种不同的深度学习模型即 topic 模型与嵌入模型的方法。这种组合方式能够更好地捕捉到实体之间的多维度关联关系其中每个 topic 分量代表了与特定主题的相关程度而加法操作则模拟了主题间的并集关系从而形成更加全面的语义表达方式。在这里\mathrm{s}_{\mathbf{h}}和\mathrm{s}_{\mathbf{t}}分别代表头实体和尾实体对应的 semantic vector经过归一化处理后得到最终的法线向量用于表征整体语义信息

损失函数定义为:
\mathcal{L}=\mathcal{L}_{\text {embed }}+\mu \mathcal{L}_{\text {topic }}
此模型的loss函数分为两部分，前半部分与Trans系列的loss大体相似，不同点在于distance的计算，此处f_r函数为score而不是distance，因此是（正例的score-负例score）小于一定阈值时，该值越低loss越大。第二部分为topic-specific，用于训练更新每个entity的semantic vector（此vector会用于f_r的计算中，用于将三元组投射到一个semantic 超平面）。semantic vector由预训练的topic模型NMF来初始化。本文在实验部分比较了更新semantic vector和固定这些vector对于模型的影响，分别记为Std.和 Joint. 当μ = 0时，即为Std.
\underset{\text { embed }}{\mathcal{L}}=\sum_{(h, r, t) \in \Delta \atop\left(h^{\prime}, r^{\prime}, t^{\prime}\right) \in \Delta^{\prime}}\left[f_{r^{\prime}}\left(h^{\prime}, t^{\prime}\right)-f_{r}(h, t)+\gamma\right]_{+}
该loss为hinge loss，通常被用于最大间隔算法(maximum-margin)。\Delta为正确三元组的集合，\Delta^{\prime}为假三元组的集合。 [x]_+表示max\{0,x\}，γ是margin超参数。假三元组使用Bernoulli Sampling Method获得，从下面的集合中选择负样本：
\begin{aligned} \left\{\left(h^{\prime}, r, t\right) \mid h^{\prime} \in E\right\} \quad \cup &\left\{\left(h, r, t^{\prime}\right) \mid t^{\prime} \in E\right\} \\ & \cup\left\{\left(h, r^{\prime}, t\right) \mid r^{\prime} \in R\right\} \end{aligned}
使用类似于深度神经网络的方法初始化嵌入向量，并使用非负矩阵分解(NMF)对topic模型进行预训练。在优化过程中采用了随机梯度下降算法。
\begin{array}{r} \mathcal{L}_{\text {topic }}=\sum_{e \in E, w \in D_{e}}\left(C_{e, w}-\mathrm{s}_{\mathbf{e}}^{\top} \mathbf{w}\right)^{2} \\ \mathrm{~s}_{\mathrm{e}} \geq \mathbf{0}, \mathbf{w} \geq \mathbf{0} \end{array}
E为实体集合，D_e为实体e的description的word集合。C_{e,w}为w在e的description中出现的次数，s_e为实体e的semantic vector， w为词w的话题分布（topic distribution）。在优化的过程中也是使用随机梯度下降。

Theoretically, the computational complexity of this method is comparable to that of TransE. When evaluating a single Link prediction task, TransE requires 0.28 seconds, while the SSP model takes 0.36 seconds under identical conditions. Among all translation-based methods, TransE stands out as the most efficient approach, and the SSP model demonstrates comparable runtime performance, thereby validating the efficiency of this model.

实验

基于WordNet和Freebase的数据资源作为实验数据集。实验包含两大类任务：知识图谱学习与实体识别。

本研究对知识图谱补全进行了系统性实验分析，并将结果展示于表1和表2中。其中表1主要展示了实体预测的性能数据，而表2则集中呈现了关系预测的相关指标。经对比分析可知，在所有评估任务上均优于现有方法。值得注意的是，在性能对比方面发现：SSP联合版本较标准版本表现更为突出。传统的TransE模型由于缺乏对语义信息的建模能力而显得略显不足；相比之下基于BOW向量构建的知识表示方法在一定程度上限制了其对复杂关系的学习能力。研究表明，在嵌入表示层面提取层次化语义特征具有决定性作用；同时不同知识来源间的相互作用机制被认为是提升模型性能的核心要素之一

实体分类的结果如表三所示：

在准确率方面表现最佳，并通过实验验证了其有效性。相较于NMF和TransE而言，在三元组与文本间的互动机制上存在主要区别。仅包含一个三元组时的效果通常会较差。在FB20K数据集上推广后的SSP（Joint）版本表明，在嵌入层次上同时捕捉词义、语法关系及上下文信息能够显著提升模型性能。

该文提出了一种名为SSP的知识图嵌入模型。通过对符号三元组与文本描述进行整合学习，在符号三元组与文本之间建立起了相应的联系关系。基于事实三元组与文本描述间的紧密关联性，在三元组与文本间建立起了相应的联系关系，并且这种联系关系对于揭示语义关联性和准确表达语义信息的作用至关重要。经过大量实证检验显示，所提出的方法较现有的先进方案取得了显著的进步。