论文笔记 | Open-World Knowledge Graph Completion |AAAI2018
来源：AAAI2018
论文链接：https://arxiv.org/pdf/1711.03438.pdf
代码链接：https://github.com/bxshi/ConMask
介绍
这篇文章解决的是知识图谱补全的问题，先前的知识图谱补全模型(KGC)都是在KG的实体集合和关系集合确定的情况下预测新的连接，文中将其称为 Closed-World KGC ， Definition1 给出了 Closed-World KGC 的定义： 
Closed-World KGC ：给定不完整知识图谱G=(E,R,T)，E,R,T 分别为实体集，关系集，三元组集。通过在G中寻找缺失的三元组集合 T'=\{
但 Closed-World KGC 依赖KG中的已有的实体和关系，因此这篇文章提出了 ConMask 模型，解决 Open-World KGC
Definition2 给出了 Open-World KGC 的定义：
Open-World KGC ：给定不完整知识图谱G=(E,R,T)，E,R,T 分别为实体集，关系集，三元组集。通过在G中寻找缺失的三元组集合 T'=\{
Open-World KGC 可以将来自G外部的新实体链接到KG中。
模型
论文提出的模型是 ConMask （A Con tent Mask ing Model for Open-World KGC）
为了阐述模型如何工作，作者举了一个例子：
给定三元组
文中把缺失的实体记为目标实体，目标实体可以是头实体，也可以是尾实体。
以上的推理过程可以分为三步：
- 定位与任务相关的信息
- 基于上下文和相关文本的隐式推理
- 将相关文本解析到合适的目标实体上
ConMask 模型就是模仿以上过程设计的，其主要由三部分组成：
- Relationship-dependent content maskin，突出与任务相关的单词
- Target fusion，从相关文本中提取嵌入的目标实体
- Target entity resolution，通过计算KG中目标实体候选对象、提取的实体嵌入和其他文本特征之间的相似度得分来选择目标实体
Relationship-Dependent Content Masking
依赖于关系的内容遮蔽（Relationship-dependent content masking）：筛选文本信息，删去无关信息，仅留下与任务有关的内容，其中模型采用attention机制基于相似度得到上下文的词和给定关系的词的权重矩阵，通过观察发现目标实体有时候在权重高的词（indicator words）附近，提出 MCRW 考虑了上下文的权重求解方法。
\phi,\psi分别为描述和名称的映射函数，返回的是实体或关系的描述或名称的词向量。◦是逐行乘积。
f_w是为描述中的每个单词向量计算它的masking weight，最简单的方法是通过计算描述中的单词i与关系名称中的每个单词j的相似度的最大值来获得单词i的权重。这个简单的函数被称作Maximal Word-Relationship Weights(MWRW)
然而较高权重的词并不总是代表实际的目标，而是与关系名称本身相近的单词，如上图所示，目标实体有时候在权重高的词（indicator words）附近，作者提出了基于上下文调整权重的计算方法 Maximal Context-RelationshipWeights (MCRW) 。定义为：
可以看作是窗口为k_m的最大池化。
Target Fusion
目标融合（Target fusion）：使用全卷积神经网络从相关文本抽取目标实体的embedding（用FCN即全卷积神经网络的方法）；这个部分输入是masked content matrix，每层先有两个 1-D 卷积操作，再是sigmoid激活函数，然后是 batch normalization，再是最大池化。FCN的最后一层接的是均值池化而不是最大池化，以确保目标融合层的输出始终返回单个k维嵌入。
Target entity resolution
目标实体解析（Target entity resolution）：生成候选实体和抽取实体嵌入之间的相似度排名，通过计算KG中候选实体和抽取实体embedding的相似度，结合其他文本特征得到一个ranked list，rank最高的认为是最佳结果。并设计了一个损失函数list-wise rankign，采样时按50%的比例替换head和tail生成负样本以增强模型鲁棒性。
整体模型架构
