论文浅尝 | Explainable Link Prediction in Knowledge Hypergraphs
笔记整理：陈子睿，天津大学硕士
动机
知识超图链接预测被普遍视为各种知识驱动下游应用的关键性议题。然而，在现有研究中大多采取黑箱处理方式执行链接预测任务：它们基于低维向量空间模型进行推理过程，并未能为人类用户提供具有可理解性的解释支持。为此我们提出了一种名为HyperMLN的新框架：该框架采用多模态混合架构实现路径推理过程，并构建了一个基于一阶谓词逻辑的知识增强型可解释预测系统：其中系统通过整合领域知识来提升嵌入模型的表现能力，并通过反向优化机制动态调整嵌入空间中的语义权重分布以优化逻辑规则的有效性。为了构建具有可解释性的链接预测基准体系我们在多个知识超图与知识图谱数据集上提取了三类元逻辑规则用于解析模型输出结果：在保证解释性的同时与当前最先进的知识超图嵌入方法相比我们的框架在Hits@1指标测试中实现了平均3.2%的优势提升
亮点
HyperMLN的亮点主要包括：
（1）研究如何通过赋予逻辑规则以权重系数来构建马尔科夫毯以解释推理结果的意义；
（2）通过数据与知识融合驱动的方式，在向量空间中整合语义信息的基础上，并结合领域知识的逻辑规则进行推理运算，在此基础上实现对潜在元组关系的推断过程。
概念及模型
HyperMLN的核心理念是使马尔科夫逻辑网络能够有效表达多种实体间的关系，并非局限于传统的马尔科夫网络结构。随后，在构建联合分布模型时，我们采用了将知识超图嵌入模型与马尔科夫逻辑网络相结合的方法来进行推理过程的设计。该整合框架通过变分EM算法实现了有效的训练过程，在这一过程中既编码了领域知识又学习了语义信息，并实现了它们的有效融合以提升预测性能。最终所得的预测结果不仅依赖于逻辑规则本身还结合了与之相关的马尔可夫毯来实现对结果的解释性分析。
HyperMLN具体由三部分组成：
该种基于多元关系的马尔科夫逻辑网络体系：它能够无需借助star-to-clique转换而依据逻辑规则实现对知识超图的转化成为马尔科夫网络。
训练与预测：基于变分EM算法并行地优化知识超图嵌入模型参数及马尔科夫逻辑网络的逻辑规则权重
结果解释：提取预设元组的马尔科夫毯，并依据逻辑规则和权重系数分析推理过程中的关键步骤。
模型整体框架如图1所示：
图1 模型框架图
（1）基于多元关系的马尔科夫逻辑网络****
随着知识超图中关系数目不断增加，在应用星型到完全图（Star-to-Clique）分解框架处理数据时
（2）训练与预测
基于知识超图的推理机制通过学习实体及其与关系在可观察元组中的表示来预测隐藏元组的存在与属性。其联合概率分布可通过以下数学公式进行建模：
给定一个马尔科夫逻辑网络实例，在其中每个逻辑规则都被赋予了一个权重系数后，则能有效缓解由于该网络内部存在不确定性的潜在问题。基于一个预定义的逻辑规则集合，在该实例下所有满足条件的元组之间的联合概率分布即被唯一确定下来：
为了融合马尔科夫逻辑网络与知识超图推理方法这一目标，并非是基于经验而是出于理论推导的需求，在该框架中致力于通过提升对数似然函数下限的性能来实现对知识超图推理能力的有效增强。
通过融合马尔科夫逻辑网络与知识超图推理方法的研究框架，在研究过程中设计了一种新的摊销推理机制来实现变分分布与知识超图推理模型之间的参数化关联。从而使得基于知识超图推理模型所定义的联合概率分布能够成功融入到变分E步骤中进行计算
该公式通过基于最小化变分推断得到的近似后验与真实后验之间的Kullback-Leibler散度来进行模型训练，在隐变量元组的概率密度函数基础上构建其与观测数据之间的映射关系
为学习知识超图推理模型的参数，目标函数被定义为：
(这个公式)
在M步骤中用于处理配分函数Z时,HyperMLN转而采用替代优化伪似然函数的方式,以保持知识超图推理模型参数取值不变,并根据以下公式通过对数似然函数的最大化来更新逻辑规则的权重
(这个公式)
（3）结果解释
对于每一个预测元组而言，在任何逻辑规则下，与其同时出现的其他元组都可以在其马尔科夫毯中找到。在该马尔科夫毯中所有的实体与关系可以通过整合形成集合_E'_ 和集合_R'_ ，其中每个实体_e'_ 对于预测元组成立的信心程度可以通过以下公式计算：
实验
本研究采用了以下五个公开数据集进行实验：其中包括JF-17K（中文）、M-FB-15K（多语言）、FB-AUTO（自动生成）、FB-15k（知识图谱）以及WN-18（世界知识）。模型评估标准包括MRR值与Hits@k。
图2 数据集统计数据
该系统在各类知识超图推理任务中均展现出显著优势。它得益于其通过逻辑规则捕获语义信息的能力。我们选择基于RAM架构的知识超图推理模型作为研究基础。相较于纯RAM模型及其同类知识超图推理方法，在多个评估指标上均显示出更优的表现。主要因为传统知识超图推理方法仅依赖于嵌入空间中的语义信息。而HyperMLN则通过学习获得的嵌入信息对马尔科夫逻辑网络识别隐含元组的过程进行了优化，并通过更新逻辑规则权重提升了整体推理性能。这一过程表明了变分 EM 算法可同时对知识超图推理模型的参数和马尔科夫逻辑网络的规则权重进行充分训练优化，在提升两者的协同效果方面具有显著优势
图3 知识超图链接预测结果
同时，在知识图谱数据集上选择了RAM作为基于知识超图推理模型之一。HyperMLN 明显优于基于规则的方法，并且通过使用知识超图推理模型来提升预测性能。与仅依赖于知识超图的传统方法相比，在相同的知识超图上应用 HyperMLN 可以获得更优的结果。这一可解释性的链接预测框架 HyperMLN 在应用到知识图谱时同样表现优异。
图4 知识图谱链接预测结果
通过对比实验结果图可知，在变分E步中, 推理模型基于逻辑规则推导出领域知识; 在M步中, 通过学习实体关系嵌入, 逻辑规则的权重值可实现反向优化。从实验对比结果来看, 当HyperMLN在同一数据集下结合相同推理方法时, 前者相比后者能显著提升性能水平。这表明, 在完成变分EM训练后, 同时利用推理模型与逻辑规则能显著提高预测效果。值得注意的是，在整合领域知识与语义信息的基础上, 两种策略的有效配合将使整体性能达到最佳状态
图5 知识超图数据集采用不同训练方式的预测结果
图6 知识图谱数据集采用不同训练方式的预测结果
可解释性被确定为本框架的核心目标之一，并在图7中展示了基于本框架的具体应用实例。首先，在马尔科夫网络中提取与预测元组相关的马尔科夫毯以获得预测信息；其中概率值为1.0的橘色元组属于原始数据集中的可观察实体，在此之外的概率不为1.0的两个浅黄色实体则是通过推断获得的可观察实体。此外，在权重设定方面采用了l1和l2两种正则化方法，并分别赋予其权重系数值为0.7和0.2以平衡模型复杂度与泛化能力的关系。为了评估蓝色隐藏实体的真实性及其关联因素的信任度水平，在遵循图8所示的结果解析流程后完成以下步骤：首先基于关系类型筛选出与'父'关系相关的规则条目；其次识别出与隐藏实体直接相关联的三个变量并将其纳入分析范围；随后分别构建两个关联紧密的团结构模型；最后通过公式计算得出隐藏实体成立的概率值达到0.32，并进一步分析得出具体信任度分布情况：其中家庭成员及祖父这对实体的信任度分别为0.725和0.275；而艾伦、丹尼尔、艾玛、朱莉以及简这五位个体的信任度分别为最低端值仅为0.014及其他相对较高的数值分布状态
图7 通过逻辑规则解释推理结果的示例
总结
在本文中
OpenKG
OpenKG致力于推动基于中文的知识图谱数据实现开放化与互联互通，并通过Crowdsourcing实现数据的广泛共享；同时促进相关知识图谱算法、工具与平台实现公开共享。
点击阅读原文 ，进入 OpenKG 网站。