HittER: Hierarchical Transformers for Knowledge Graph Embeddings
发布时间
阅读量：
阅读量
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
HittER由两个主要模块构成：
- 下层模块：负责从源实体及其关系中提取局部邻居的特征并生成嵌入表示。
- 实体Transformer模块负责对每个实体及其局部邻居进行特征提取。
- 通过随机初始化得到的源实体嵌入、关系嵌入以及一个特殊的[CLS]标记与 getToken embedding共同构成输入向量。
- 上层模块：从下层输出中整合了丰富的上下文信息。
- 输入包括下层各头计算得到的关键-值对序列以及一个特殊的[GCLS]标记。
- 该模块通过自注意力机制对上下文进行深度建模。
- 对于连接预测任务而言，
其交叉熵损失函数在此阶段为：
作者额外开发了一个基于掩码的实体预测机制，并通过整合关系上下文信息与源实体特征来优化预测效果。
在本模型中存在两个主要问题：一是源实体通常包含大量高质量信息用于预测结果，并且从噪声环境中提取有用信息需要巨大努力；二是丰富上下文可能降低源实体有效性并引入虚假关联导致过拟合现象。为此目的，研究者提出了MEP机制以平衡源实体利用与上下文语境化过程。针对第一个挑战，在每个训练样本中，在一定概率下替换成一种特殊标记以干扰其原始信息；针对第二个挑战，则通过附加信息恢复被干扰的源实体并利用分类层预测真实来源；交叉熵损失函数更新如下：
全部评论 (0)
还没有任何评论哟~