chain of thought prompting elicits reasoning in large language models
该文本介绍了GitHub上的"Automatic Chain of Thought Prompting in Large Language Models"项目及其相关视频资源，并探讨了链式思维（Chain of Thought, cot）在大型语言模型中的应用及其优势。链式思维通过逐步推理解决问题，并与人工设计的问题进行了对比分析。此外，文本还讨论了多种cot的实现方法及其效果，并指出仅依赖标准提示不足以充分发挥模型能力的现象。
GitHub - amazon-science/auto-cot：这是官方实现版本，“自动链式思维提示”技术的官方版本，请关注后续更新
GitHub - amazon-science/auto-cot: Official implementation for the "Automatic Chain of Thought Prompting in Large Language Models" (please stay tuned, more features will be updated soon)
论文精读·43
论文精读·43
论文精读·43
论文精读·43
manual-cot被归类为一种'few-shot'学习方法，在其框架中问题设定主要由人工进行设计，并且该系统采用分步骤思考的方式进行推理（autocot）。在训练过程中所使用的这些问题通常是从样本集中随机采样得到的（前面提到的问题）。与单一步骤思考的方式不同（not just），我们采用了更为全面的方法（lets one by one），即在思考时更加注重系统的全面性和迭代性（不仅仅如此）。
1.abstract
通过chain of thought（cot）机制，在解决复杂问题时人类通常会经历一系列有条理的思考过程，并将其分解为多个简短的逻辑步骤。采用该方法后，在GSM8k数据集上的模型性能达到了58.1%的水平。
2.introduction
system 1：易于快速吸收知识内容。system 2：较慢需要逐步理解和掌握的知识点包括解决数学问题等复杂概念。
除了在prompt中呈现答案并引导大模型进行续写外，在呈现推理过程的基础上也能有效提升大模型续写的正确率。
cot需要更多计算量，因为更多的推理过程；cot有更好的可解释性。
人工构造cot的成本很高的，需要自己写推理过程。
对于简单的数据集而言，在其他条件相同的情况下（或说在其他因素不变时），模型规模越大则性能越强。然而，在复杂的数据集上，在仅依赖标准提示的情况下（或仅基于标准提示进行处理时），其表现并不如cot提示方法（或cot提示方法）有效。即使增加模型参数量依然无法显著提升性能（或即使提高模型参数数量效果依然不明显），这表明两者之间并非呈正相关关系。
第一种仅包含公式部分。
第二种采用与中间式子长度相近的方式替换cot。
第三种将推理过程置于答案部分后方。
整体效果均不理想，
反映出cot中自然语言的作用。
在cot之前的prompt只是大模型语言能力的下线。