论文阅读《Editing Language Model-Based Knowledge Graph Embeddings》

论文综述：基于语言模型的知识图谱嵌入编辑

怎么以最小化成本调整三元组的同时对相应的网络中的嵌入进行更新？答案是通过引入一个额外的LSTM超网络来优化目标网络的部分参数。

作者与机构

该研究由浙江大学及其所属的浙江大学-蚂蚁集团联合实验室、东海实验室以及腾讯平台与内容部共同承担。该研究的主要研究者包括Siyuan Cheng等

摘要

近年来，在利用语言模型框架化知识图谱（KG）嵌入方面取得了一系列实证成果。然而，在基于语言模型的KG嵌入实践中往往将其视为静态组件处理这一做法导致后续优化调整变得较为复杂。为了突破这一局限性，在这项研究中我们提出了一项关键任务——实现基于语言模型的KG嵌入编辑功能。该任务的核心目标是通过高效的数据驱动方法实现对 KG 嵌入信息的快速更新能力同时确保不会对原有系统性能产生负面影响为此我们特意构建了四个新数据集：E-FB15k237 A-FB15k237 E-WN18RR 和 A-WN18RR 并对多种知识编辑基线进行了多组实验比较结果显示现有方法在处理这一具有挑战性的编辑任务时仍显力有未逮为此我们开发了一个简洁而高效的原型系统框架——KGEditor 该系统通过引入超网络中的额外参数层实现了 KG 描述信息的具体增删或更新操作并通过一系列实验验证表明 KGEditor 在有限训练资源下不仅能够有效更新特定 KG 描述信息还能保持整体系统的性能水平

引言

知识图谱（KG）表示大规模、多关系的图结构，包含丰富的符号事实。这些结构为各种知识密集型任务提供了宝贵的后端支持，如信息检索、问答系统和推荐系统。为了更好地利用KG中的符号知识进行机器学习，许多KG嵌入方法致力于将KG表示为低维向量空间。传统KG嵌入模型，如TransE和RotatE，被自然地分类为基于结构的方法。然而，最近的KG嵌入方法转向了不显式建模结构的方法，而是通过使用表达性强的黑盒模型（如预训练语言模型）来结合文本描述。这种新范式假设模型会自然地捕捉底层结构而不需要显式指导。利用语言模型框架化KG嵌入已成为一种非常有前景的方法，取得了显著的实证成功。然而，基于语言模型的KG嵌入通常作为静态工件部署，难以在不重新训练的情况下进行修改。为了应对变化（例如出现新事实）或现有KG的事实更正，需要在部署后对KG嵌入进行灵活的知识更新。

方法

任务定义

KG可以用符号G=(E, R, T)来表示，其中E、R和T分别代表实体集、关系类型集以及三元组集合。每个三元组(h,r,t)中,h与t分别代表头实体与尾实体。在EDIT任务中，则涉及的知识修正形式包括(h,r,y,a)或(y,r,t,a)，其中y标识的是需要修正的实体信息。假设原始输入中的实体为x，在经过预测后的目标实体则为y，在修正后应期望得到的新实体为a。例如，在KG嵌入模型中将过时的三元组"Donald Trump,president of,U.S.A."替换为"Joe Biden,president of,U.S.A."是一种有效的更新方法。然而当前的KG系统可能仍存在大量未被涵盖的新事实数据，在这种情况下就需要通过ADD任务来进行新增知识的整合工作。需要注意的是，在此过程中ADD任务与传统的归纳学习设置具有相似之处，并且其主要特点在于无需对现有模型进行重新训练即可实现新增知识的学习与整合

评价指标

我们设定了三个原则来衡量所提出的任务的有效性：

知识可靠性 ：评估编辑或新增知识是否通过链路预测正确推断。

知识局部性：考察编辑KG嵌入是否会影响到其他已获取的知识

知识效能 ：衡量编辑器性能的标准是采用优化参数（涵盖外部模型及辅助参数）作为评价指标。

数据集构建

通过利用两个基准数据集FB15k-237和WN18RR来建立四个新的数据集，在采用语言模型对KG进行初步训练后

随机破坏现有知识图谱中的三元组，生成一个损坏的数据集。

使用该数据集微调预训练的KGE模型，得到一个需要编辑的模型。

通过预训练的KGE模型对数据进行重新鉴定，并精确地将正确标记的数据归类至L-Test数据集中；同时将错误标记的数据重新分配至指定数据集并进行纠正

实验结果

我们基于两个重要的数据集E-FB15k237和E-WN18RR展开了EDIT操作的研究，在另一个关键数据集A-FB15k237与A-WN18RR上分别展开了EDIT与ADD操作的研究。研究结果表明我们的模型KGEditor在处理新增知识方面展现出显著优势，并且特别体现在能够有效维护原有知识完整性方面。

编辑任务（EDIT）

KGE ZSL在两个数据集上都无法推断任何事实。

纯参数微调全部参数或部分参数（如KGE FT和K-Adapter）未能满足预期效果

精心设计的知识编辑基准（如KE、MEND等）在性能上超越了KGE-FT以及K-Adapter模型，并凸显了构建特定架构以更高效地识别精确事实的必要性。

KGEditor在编辑参数数量较少的情况下，表现优于几乎所有基线模型。

新增任务（ADD）

KGE ZSL在两个数据集上仍然无法推断任何事实。

调整所有参数（KGE FT）或优化部分参数（K-Adapter）尽管显著提升了系统的可靠性和稳定性但导致系统在学习过程中遗忘了先前获得的知识表明系统在知识表示能力上存在局限性

KGEditor在新增知识任务方面表现优异，在无需重新训练的环境中具备高效的新增能力。

讨论与结论

我们开发了名为KGE的编辑系统任务，并支持在特定任务下直接对知识进行修改操作，并显著提升了编辑效率与准确性。相较于以往基于预训练语言模型的编辑任务，在我们的方法中，“KG事实”被用来指导对知识库的修改方向与策略。此外，在研究知识表示与推理机制方面所取得的方法改进不仅显著提升了性能水平，在研究领域也提供了重要的理论支撑

未来工作

在编辑KGE（Knowledge Graph Embedding）模型的过程中仍存在一些持续性问题，在尤其是处理复杂知识和多对多关系方面尤其是在处理复杂知识和多对多关系方面尤其是在处理复杂知识和多对多关系方面特别是在处理复杂知识和多对多关系方面特别是在处理复杂知识和多对多关系方面特别是在处理复杂知识和多个相互关联的知识点之间建立稳定且可扩展的关系网络时仍会遇到挑战尤其是在处理复杂知识和多个相互关联的知识点之间建立稳定且可扩展的关系网络时仍会遇到挑战尤其是在处理复杂知识和多个相互关联的知识点之间建立稳定且可扩展的关系网络时仍会遇到挑战

现有的KGE模型规模相对较小 且主要采用标准的BERT架构设计 这种架构设计在一定程度上限制了其扩展性和适应性 随着以LLaMA ChatGLM以及Alpaca为代表的生成式语言模型的大规模兴起 编辑LLMs的需求也在快速增长中

参考文献

该文综述了大量相关文献，并全面地涉及了知识图谱嵌入、语言模型编辑以及图卷积网络等不同领域的前沿进展。这些参考文献不仅为本文的研究提供了坚实的理论基础，并且在技术实现上也提供了有力的支持。