论文略读：Case-Based or Rule-Based: How Do Transformers Do the Math?
发布时间
阅读量：
阅读量
ICML 2024
1 基于规则的推理（rule-based） VS 基于样例的推理（case-based）
- 一个是基于训练语料库中见过的相似样例
- 一个是根据学习获得的核心规则
2 方法 & 结论
2.1 直接问答案：case-based
- 论文评估了Leav-square-out方法来测试大模型的推理能力。
- 识别关键样本在训练数据中对模型性能的影响。
- 移除这些样本后观察其对测试性能的影响。
- 被圈出的部分是非训练集中未展示的数据
- 如果采用基于规则的方法（rule-based），其在类似场景下的表现应大致相近；然而，在本案例中（red box中的部分），其准确率显著偏低
- 这表明该大模型采用了基于案例的学习方法
2.2 scratchpad（引导LLM一位一位做加法）：case-based
- 显示结果表明下半部分的准确率为零
- 该模型不具备解决类似47+48问题的能力, 因为其训练过程中缺少了涉及十位进位的过程
- 未涉及进位的情况表现较好, 在涉及进制转换的情况下则表现较差
2.3 论文提出的方法： Rule-Following Fine-Tuning (RFFT)
- 目的是为了教会 transformers 进行基于规则的推理
- 在输入中提供显式的规则，并逐步引导 transformers 按照这些明确的规则进行推理过程
3 结果
全部评论 (0)
还没有任何评论哟~