Advertisement

Enhancing Temporal Knowledge Graph Forecasting with Large Language Models

阅读量：

本文是LLM系列文章，针对《Enhancing Temporal Knowledge Graph Forecasting with Large Language Models via Chain-of-History Reasoning》的翻译。

基于历史链推理的大型语言模型增强时态知识图预测

  • 摘要
  • 1 引言
  • 2 问题定义
  • 3 时间知识图谱上的历史推理链
  • 4 实验
  • 5 相关工作
  • 6 结论
  • 7 局限性

摘要

时间知识图谱（TKG）预测旨在基于给定的历史来预测未来的事实。最新的基于图的模型擅长捕捉TKG中的结构信息，但缺乏语义理解能力。如今，随着LLM的激增，基于LLM的TKG预测模型已经出现。然而，现有的基于LLM的模型存在三个缺点：（1）它只关注一阶历史进行预测，而忽略了高阶历史信息，导致为LLM提供的信息极其有限。（2） LLM在繁重的历史信息负载下难以获得最佳推理性能。（3） 对于TKG预测，LLM单独的时间推理能力是有限的。为了解决前两个挑战，我们提出了历史链（CoH）推理，该推理逐步探索高阶历史，在TKG预测中实现LLM对高阶历史信息的有效利用。为了解决第三个问题，我们将CoH设计为一个pali和plug模块，以提高基于图形的TKG预测模型的性能。在三个数据集和主干上进行的大量实验证明了CoH的有效性。

1 引言

2 问题定义

3 时间知识图谱上的历史推理链

4 实验

5 相关工作

6 结论

在本文中，我们首先分析了现有的基于LLM的模型在如何有效地为LLM提供全面的高阶历史信息方面的不足和挑战。然后我们指出，仅依靠LLM的推理能力对于TKG预测仍然是有限的。为了解决这些问题，我们提出了CoH推理，它可以有效地利用LLM的高阶历史。我们将CoH设计为play-And-plug，以补充和提高基于图的模型的性能。大量的实验结果证明了CoH的优越性，以及它在提高基于图的TKG预测模型性能方面的有效性。

7 局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Enhancing Temporal Knowledge Graph Forecasting with Large Language Models

本文是LLM系列文章，针对《EnhancingTemporalKnowledgeGraphForecastingwithLargeLanguageModelsviaChainofHistoryReas...

Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

本文是LLM系列文章，针对《ChatGPTisnotEnough:EnhancingLargeLanguageModelswithKnowledgeGraphsforFactawareLanguage...

ENHANCING TEXT-BASED KNOWLEDGE GRAPH COMPLETION WITH ZERO-SHOT LARGE LANGUAGE MODELS: A FOCUS ON SEM

文章目录 题目 摘要 引言 相关工作 方法论 实验 分析 结论 题目 使用零镜头大型语言模型增强基于文本的知识图完成:关注语义增强 论文地址：https://export.arxiv.org/abs/...

ENHANCING TEXT-BASED KNOWLEDGE GRAPH COMPLETION WITH ZERO-SHOT LARGE LANGUAGE MODELS: A FOCUS ON SEM

ABSTRACT 基于文本的训练很大程度上取决于数据的质量和丰富性，通过文本提示大模型可以生成数据结构去丰富知识图谱的内容，但是需要大量的计算资源。为了解决这一问题，我们引入一个成为KGC约束提示框架...

AttacKG+: Boosting Attack Knowledge Graph Construction with Large Language Models

文章目录 题目 摘要 引言 任务定义 3方法 评估 相关工作 结论和未来工作 附录 题目 AttacKG+：利用大型语言模型促进攻击知识图谱构建 论文地址：https://arxiv.org/pdf/...

KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

题目 KnowledGPT：通过对知识库的检索和存储访问来增强大型语言模型 论文地址：https://arxiv.org/abs/2308.11761 摘要 大语言模型（LLM）在自然语言处理领域表现...

Two-stage Generative Question Answering on Temporal Knowledge Graph Using Large Language Models

本文是LLM系列文章，针对《TwostageGenerativeQuestionAnsweringonTemporalKnowledge GraphUsingLargeLanguageModels》的...

Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensi

题目 链中搜索:通过搜索知识密集型任务来交互式增强大型语言模型 论文地址：https://arxiv.org/abs/2304.14732 项目地址：https://github.com/xsc123...

ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning

文章目录 题目 摘要 引言 方法 实验 消融研究 题目 ChatRule：利用大型语言模型挖掘逻辑规则进行知识图推理 论文地址：https://arxiv.org/abs/2309.01538 摘要 ...

Finetuning Generative Large Language Models with Discrimination Instructions for Knowledge Graph Com

文章目录 题目 摘要 简介 相关工作 DIFT框架 实验 结论和未来工作 题目 使用判别指令对生成大型语言模型进行微调，以完成知识图谱 论文地址：https://arxiv.org/pdf/2407....