LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING
本文是LLM系列文章，针对《LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE
LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING》的翻译。
LLM-ARK：基于深度强化学习的大型语言模型知识图谱推理
- 摘要
- 1 引言
- 2 相关工作
- 3 方法
- 4 实验和结果
- 5 结论
摘要
随着预训练方法的发展，大型语言模型（LLM）通过提示工程展现出了示范性的推理能力。然而，与较小的模型相比，缺乏知识图谱（KG）环境意识以及为中介推理过程设计可行的优化机制的挑战，限制了LLM在KG推理任务上的性能。我们介绍了LLM-ARK，这是一种基于LLM的KG推理代理，旨在对KG路径提供精确且适应性强的预测。LLM-ARK利用全文本环境（FTE）提示来吸收每个步长智能的状态信息。在做出最终决策之前，利用LLM对各种类型的输入进行丰富的编码和表示，并将知识图谱与路径环境数据进一步集成。将知识图谱（KG）多跳推理问题重新定义为一个顺序决策问题，我们使用近端策略优化（PPO）在线策略梯度强化学习算法来优化我们的模型，该算法允许模型在不同的任务和环境中从大量的奖励信号中学习。我们评估了最先进的LLM（GPT-4）和我们的方法，该方法在OpenDialKG数据集上使用不同大小的开源模型。我们的实验表明，LLaMA7B ARK为target@1评估指标，远远超过当前最先进的模型17.64个百分点。同时，GPT-4的得分仅为14.91%，进一步突出了我们方法的有效性和复杂性。我们的代码可在GitHub上获得，以供进一步访问。
1 引言
2 相关工作
3 方法
4 实验和结果
5 结论
我们的研究通过对GPT-4的检查和对LLM基本能力的理解，探索了LLM在KG推理任务中的潜力。我们的模型通过利用丰富的环境信息进行灵活精确的学习，实现了灵活准确的多级推理，与GPT-4和更小的模型相比，获得了更好的结果。最终，我们的实验结果证实，模型知识和环境数据之间的偏差会严重破坏模型性能。实验还肯定了在模型优化过程中考虑所有方面的关键作用。我们希望我们的研究能为这一领域做出宝贵贡献，并激励未来在这一领域的工作。