A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications

本文属于LLM系列文章，在《A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications》一文中进行了译文

生成图分析的大型语言模型综述：查询、学习和应用

• 摘要
  • 绪论
  • 引言
  • 前言
  • 基于图结构的理解任务
  • 图学习相关的任务
  • 图形推理问题
  • 图表示技术
  • 基于知识图谱的知识增强检索系统
  • 基于图LLM的知识服务应用
  • 评估基准数据集及其性能指标的部分
  • 探讨未来研究方向的可能性
  • 总结与展望部分

摘要

图作为一种基础的数据模型，在社会与自然领域广泛应用于表示各类型实体及其复杂关联关系。近年来大型语言模型（LLM）展现出卓越的泛化能力，并能有效处理多种自然语言处理任务以及多模态任务等挑战性问题。相较于图学习模型而言，在应对泛化性图任务方面LLM展现出显著优势：无需进行图学习模型训练即可解决相关问题，并降低了人工注释的成本等挑战。在本研究综述中我们系统梳理了现有基于LLM的研究成果重点总结了先进LLM模型在相关图形分析任务上的应用实例并深入探讨了当前面临的主要挑战及未来研究方向等关键问题。具体而言我们聚焦于基于LLM的生成式图形分析框架主要包括三个主要研究方向：基于LLM的图查询处理框架（LLM-GQP）、基于LLM的图形推理与学习框架（LLM-GIL）以及基于LLM的应用型图形分析框架（LLM-App）。其中LLM-GQP着重于整合图理解能力与知识图谱增强检索技术形成了较为完善的体系框架而LLM-GIL则致力于探索图学习与推理的核心机制并推动相关技术的发展。此外我们还进行了系统性的提示库分析工作旨在优化不同图形下游任务的具体解决方案。同时本文对现有的LLM评估体系及基准数据集进行了全面梳理并深入剖析了其优缺点等关键因素影响因素及适用场景等信息为后续研究提供了重要参考依据。最后本文还深入探讨了当前图形数据分析与大型语言模型结合这一新兴交叉领域中存在的诸多开放性问题以及未来可能的研究方向和发展趋势。

1 引言

2 前言

3 图结构理解任务

4 图学习任务

5 图形推理

6 图表示

7 基于知识图谱的增强检索

8 基于图LLM的应用

9 基准数据集和评估

10 未来的方向

11 结论

LLM-GGA已成为一个有前景的领域，引起了研究人员的极大关注。本文介绍了一种基于最新研究的综合结构分类法，将LLM-GGA研究分为三个主要方向：LLM-GQP、LLM-GIL和基于图LLM的应用。LLM-GQP包括图理解和基于KG的增强检索，而LLM-GIL涉及图学习、图形成推理和图表示。每个方向的动机、挑战和主流方法都得到了彻底的研究。
对于上述六个方向，对各种方法进行了比较，以探索它们在每个领域的潜力。据观察，LLM在结构理解方面显示出初步的能力，解决了最大流和小图上的二分图匹配等问题。然而，它容易受到节点度和图密度等因素的影响，导致图连通性的潜在误判。此外，LLM因其强大的语义理解和推理能力，加上从广泛的语料库中学习，可以为GNN提供外部知识，并有助于语义信息的理解、学习和推理，因此对图形学习任务非常有益。得益于LLM的语义理解能力，图表示可以实现更深层次的语义嵌入。讨论还深入探讨了基于KG的增强检索，以提高LLM检索和事实知识回答能力。本文总结了40多个数据集、六个方向的评估指标以及这些方向上30多种主流方法的源代码。它强调了当前方法中存在的挑战，并提出了未来的方向，以指导和激励LLM-GGA领域的进一步研究。