Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
发布时间
阅读量：
阅读量
本文是LLM系列文章，针对《Exploring the Limitations of Large Language Models in Compositional Relation Reasoning》的翻译。
大型语言模型在作文关系推理中的局限性探讨
- 摘要
- 1 引言
- 2 相关工作
- 3 动机
- 4 基准
- 5 实验
- 6 结论
摘要
我们通过一个包含1500个英语测试案例的基准，对大型语言模型（LLM）推理作文关系的能力进行了全面评估，该基准旨在涵盖六种不同类型的作文关系：位置关系、比较关系、个人关系、数学关系、同一性关系和其他关系。认识到多语言能力的重要性，我们扩大了评估范围，将这些案例翻译成中文、日语、法语和韩语。我们的多语言作文关系（MCR）基准旨在研究LLM在处理不同语言背景下的作文关系推理时的稳健性和适应性。我们的基准MCR将在http://github.com/anonymous发布。
1 引言
2 相关工作
3 动机
4 基准
5 实验
6 结论
在这项工作中，我们对LLM在推理构图关系方面的能力进行了全面评估。我们的研究结果表明，最先进的LLM，包括LLaMA-2 7B/13B和GPT-3，很难驾驭复杂的成分关系问题，它们在英语中的表现略高于随机猜测。这突出了当前一代LLM的一个关键限制，表明在这些模型能够真正理解人类语言的语义之前，还有相当大的差距。然而，值得注意的是，ChatGPT和更先进的GPT-4显示出更高的准确性，表明该领域的进步。
全部评论 (0)
还没有任何评论哟~