Fast and Continual Knowledge Graph Embedding via Incremental LoRA（一）

阅读量：

Liu J et al.提出了一种高效且持续性的知识图谱嵌入方法（Knowledge Graph Embedding），通过增量化的LoRA（Low-Rank Adaptation）技术实现这一目标[J].

Abstract

连续知识图谱嵌入（Continual Knowledge Graph Embedding, CKGE）致力于在高效学习新知识的同时保证旧知识不被遗忘。尽管现有方法大多集中于缓解旧知识带来的负面影响，在新知识出现时未能有效进行学习。然而，在实际应用中，随着知识图谱的持续增长，在有限计算资源下优化KGE模型面临着巨大挑战。为此我们提出了一种快速CKGE框架（FastKGE），通过引入增量低秩适配器（IncLoRA）机制实现了在保持原有知识的同时有效获取新信息。为了进一步提升效率，在设计模型时我们开发了一种高效的IncLoRA机制，并在此基础上实现了对特定层嵌入的快速适配。此外我们还引入了自适应rank分配机制使LoRA能够根据实体重要性动态调整其规模以达到最佳效果。在4个公开数据集以及2个初始规模较大的测试场景中我们进行了系统评估。实验结果表明FastKGE不仅显著减少了34%-49%的训练时间还能在与最新模型相当的基础性能水平上实现链路预测任务中的优异表现（平均MRR值达到21.0%）。对于两个独立构建的数据集FastKGE不仅将训练时间缩减了51%-68%还能在这一过程中提升链路预测性能1.5个百分点以上

1 Introduction

知识图谱嵌入（KGE）[Wang等人, 2017; Rossi等人, 2021]的主要目标是将知识图谱中的实体与关系[Dong等人, 2014年]通过向量表示进行表示, 对多个 downstream应用而言具有重要意义, 如问答[Bordes等人, 2014年]、推荐系统[Zhang等人, 2016年]以及事实检测[Shang等人, 2024]. 在传统的KGE方法[Bordes等人, 2013; Sun等人, 2019; Liu等人, 2020; Pan和Wang, 20XX; Shang等人,
一种挑战是 更新实体与关系的向量表示需要重新训练整个知识图谱. 这种做法在大规模知识图谱中会导致高昂的成本. 比如说,Wikidata [Vrandeciˇc and Kr´otzsch,
为了应对这一挑战, 研究者开发了一种动态的知识图谱更新机制. 这种机制允许 Wikidata 和 YAGO 等动态知识库以更高效的方式进行扩展与维护.

CKGE的核心难题在于缓解灾难性遗忘问题[ Kirkpatrick等人, 2017；Liu等人, 2024 ]的同时降低了训练成本。一种解决CKGE问题的方法是全参数微调范式[ Lopez-Paz和Ranzato, 2017；Wang等人, 2019；Kou等人, 2020 ]或引入额外的正则化约束[ Zenke等人, 2017；Kirkpatrick等人, 2017；崔等, 2023 ]。尽管这种方法有效缓解了灾难性遗忘问题但它显著增加了计算开销尤其是在处理大规模知识图谱时表现尤为明显。另一种方法是采用增量参数微调范式仅采用少量可训练参数来学习新兴知识[ Lomonaco和Maltoni, 2017 ]尽管这种方法避免了显式的知识回放但由于新旧参数维度直接对齐可能导致模型规模计算复杂度等性能指标出现明显提升这在实际应用中并不被接受。近年来为了提高大型语言模型（LLM）在下游任务中的训练效率[ Radford等人, 2019；Brown等人, 20 ]一些研究工作开始探索利用低秩适配器（如LoRA[ Hu等人, 2022 ]）来降低模型的有效参数规模从而实现高效的微调学习这一机制也被成功应用于各种复杂的预训练任务中并取得了显著的效果

基于低秩适配器的研究（Hu等人，在2022年的研究）在LLM的参数微调领域中展开深入探讨。我们是最早采用增量低秩适配器（IncLoRA）将其新增知识融入知识图谱的第一批研究者，并通过这一创新方法显著降低了训练成本。如图1所示，在经典角色Ron Weasley的基础上进行扩展时发现，在现有实体基础上进行扩展时发现，在现有实体基础上进行扩展时发现，在现有实体基础上进行扩展时发现

图1展示了CKGE框架中的IncLoRA技术原理示意图，在故事发展的过程中, 该技术通过动态更新 Harry Potter 知识图谱 (KG) 的内容来实现其不断扩展的趋势. 在这一过程中, 上方区域聚焦于 Harry Potter 知识库的增长轨迹, 而下面部分则展示了在不同快照阶段引入的增量 LoRAs 驱动构建的 KGE 模型.

为了解决现有CKGE数据集初始知识图谱规模偏小的问题[Hamaguchi等人, 2017；Kou等人, 2020；Daruna等人, 2021；Cui等人, 2023]

•在该领域具有显著地位的机构指出，在该领域具有显著地位的机构指出，在该领域具有显著地位的机构指出，在该领域具有显著地位的机构指出，在该领域具有显著地位的机构指出，
•据研究显示，
•据研究显示，
•据研究显示，
•据研究显示，
•据研究显示，

•开发了一个高效的CKGE框架（FastKGE），通过分层策略隔离知识。
•结合增量低秩适配器机制（IncLoRA）进一步降低了训练开销。