Rule or Story, Which is a Better Commonsense Expression for Talking with Large Language Models?
本文是LLM系列文章，针对《Rule or Story, Which is a Better Commonsense Expression for Talking with Large Language Models?》的翻译。
规则还是故事，这是与大型语言模型对话的更好的常识表达？
- 摘要
- 1 引言
- 2 背景
- 3 LLM的常识检索作为故事和规则
- 4 利用故事和规则中的常识解决问题
- 5 迭代自监督微调
- 6 结论
- 局限性
摘要
由于常识规则的报告偏见和基于规则的常识推理的暴露偏见，构建具有常识的机器一直是NLP中的一个长期挑战。相比之下，人类通过故事含蓄地传达和传递常识。本文研究了通过讲故事表达的大型语言模型（LLM）固有的常识能力。我们系统地调查和比较了LLM中检索和利用常识的故事和规则。在28个常识性QA数据集上的实验结果表明，故事作为从LLM中检索常识的表达式优于规则，表现出更高的生成置信度和常识准确性。此外，故事是回答日常事件问题的更有效的常识表达，而规则对科学问题更有效。这与文本语料库中常识性的报道偏见是一致的。我们进一步证明，通过迭代自监督微调，可以进一步提高常识故事的正确性和相关性。这些发现强调了使用适当的语言来表达、检索和利用LLM常识的重要性，突出了更好地利用其常识能力的有希望的方向。
1 引言
2 背景
3 LLM的常识检索作为故事和规则
4 利用故事和规则中的常识解决问题
5 迭代自监督微调
6 结论
本文系统地比较了故事和规则作为常识表达，以检索和利用LLM中的常识知识。实验结果表明，该故事是一种更好的从LLM中检索常识的表达方式。LLM生成的故事比规则更有信心，常识准确性更高。此外，故事是回答日常事件问题的更有效的常识性表达，而规则对科学常识性QA更有效。这种现象与常识性的报道偏见相一致。故事和规则可以相辅相成，进一步提高答案的准确性。我们通过深入分析提供了进一步的见解，强调了生成故事中的两个挑战：常识幻觉和语义漂移。我们表明，常识故事的正确性和相关性可以通过迭代自监督微调来提高，这突出了LLM常识能力自我提高的潜力。
本文提出了一个新的视角，超越了将常识表达为规则的常见做法。我们的研究结果和发现强调了使用适当的语言来表达、检索和利用常识的重要性，以便LLM进一步开发其潜力。LLM在处理常识方面的全部程度尚未完全实现，需要未来的研究来完善和提高LLM的常识能力。