Towards Understanding the Geometry of Knowledge Graph Embeddings
发布时间
阅读量：
阅读量
研究问题
论文对知识图谱的嵌入进行了几何属性的研究，并进一步阐述了哪些特定的几何性质能够提升模型性能以及具体说明了如何获取这些具有优势的几何特性
背景动机
- 之前已有研究对词嵌入的几何属性进行了系统探讨, 然而, 目前知识图谱领域的相关研究仍处于起步阶段
- 知识图谱主要可分为加性模型、乘性模型和神经网络模型等类型, 不同类型的模型所学习到的嵌入具有不同的几何特征, 并由此产生显著的影响表现
- 在知识图谱的学习过程中, 通常采用负采样方法进行参数优化, 同时, 负采样过程中选取的样本数量也会对嵌入空间中的几何属性产生重要影响
实验设置
- 模型分类
- TransE, TransR和STransE即属于加性模型
- DistMult, HolE和ComplEx即属于乘性模型
- 评估标准
- ATM（对齐均值）：该算法通过计算输入向量与其所在集合中各向量间的余弦相似度来衡量数据一致性。
- conicity：该值越大，则表明数据集中的各个样本之间的关联程度越高。
- VS（向量分布范围）：其反映了各输入样本与其所在集合中其他样本之间的一致性差异程度。
- AVL（平均长度）：该值越大，则表明整个数据集的空间分布更为分散。
conicity集合含义如下
实验结果
- 模型类型与几何属性的关系
实体嵌入
关系嵌入
总结：无论是实体嵌入还是关系嵌入都符合加性模型对应于Low conicity和高向量扩展；而乘性模型则对应于High conicity和Low vector spread
- 负采样数量和几何属性的关系
实体嵌入
加性模型的几何属性与负采样样本的数量无直接关联，在conicity这一指标上呈正相关关系，在AVL这一指标上则呈反相关关系。
- 嵌入维度对几何属性的影响
加性模型的几何属性不受负采样样本数的影响，在conicity方面呈反比例关系，在AVL方面呈正比例关系
- 几何属性与模型表现间的关系
在加性模型中, 几何属性与模型性能之间没有关联.而在乘性模型中, 则实体嵌入表现出较小的conicity且较大AVL时能带来显著提升.而关系嵌入的几何属性对结果无影响.
全部评论 (0)
还没有任何评论哟~