Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks
本文属于LLM系列文章，并基于该研究论文《Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks》的翻译
Mathify：在数学问题解决任务中评估大型语言模型
- 摘要
- 1 引言
- 2 相关工作
- 3 数据集
- 4 方法
- 5 实验
- 6 结果和讨论
- 7 结论
- 8 局限性
摘要
教育与教学方法领域因大型语言模型的发展而获得了诸多机遇。这些发展带来的定制化学习体验及即时反馈的可能性不容忽视。它们都是通过易用且经济的服务实现的。在技术进步方面的一个重要应用领域是数学问题解决能力的发展。这一能力不仅要求具备解析复杂问题陈述的能力，在解决问题的过程中还需每一步都精确计算的技能。然而，在评估大型语言模型算术能力方面仍存在研究不足的现象。为此，我们开发了一个名为"MathQuest"的数据集库，该库基于NCERT标准教材中的第11版至第12版的内容进行构建，并涵盖了不同难度等级下的各种数学挑战性任务以及广泛涉及的不同数学概念。该数据集为三个知名的大规模预训练语言模型进行了微调实验分析：包括LLaMA2、WizardMath及MAmmoTH模型等三款主流产品级AI生成系统均经过了针对该数据集的微调训练过程，并以此作为评估其性能的标准依据之一。通过实验结果对比发现，在所测试的各项指标中MAmmoTH-13B展现出显著的优势特征：在解答所列提出的各类NCERT数学题目方面表现最为出色；其算术能力评估得分位居所有参与对比模型之首；这使得MAmmoTH-13B成为确定此类基础教育题目解答基准的理想选择方案
1 引言
2 相关工作
3 数据集
4 方法
5 实验
6 结果和讨论
7 结论
该方法显著提升了大型语言模型（LLM）在精确数学问题解决关键推理能力方面的掌握。基于MathQuest的数据集设计了专门的问题训练方案，涉及单一或复合数学运算符及其组合。通过设计基础到复杂的问题类型来逐步引导模型建立系统性解题思路。核心目标是通过具有示范作用的问题案例来提高解决方案的质量，并确保这些解决方案既准确又易于理解。研究结果表明，在解答高质量说明性示例方面取得了显著进展，在高中教育领域相关评估中表现优异。
尽管该研究不仅验证了LLM在数学推理任务中的潜力，并且展示了其在教学支持方面的应用前景；但为了进一步实现这一目标仍需持续改进现有框架以提升适应不同知识层次的需求。
然而，在扩大LLM的应用范围方面仍需持续努力。
该方法可有效提升高中生及专业人士在概念理解与数值计算方面的表现。