论文标题：MathEval: A Comprehensive Benchmark for Evaluating Large Language Models on Mathematical Reasoning Capabilities

期刊：Frontiers of Digital Education

作者：Tianqiao Liu, Zui Chen, Zhensheng Fang, Weiqi Luo, Mi Tian & Zitao Liu 

发表时间：08 May 2025

DOI：10.1007/s44366-025-0053-z

微信链接：点击此处阅读微信文章

《数字教育前沿（英文）》第2卷第2期

大语言模型能陪你聊天、写诗、编代码，可你有没有想过——它真的会做数学题吗？

最近，好未来联合暨南大学的研究团队发布了一项重磅研究，推出了名为MathEval的综合性数学评测基准。这相当于给所有大模型组织了一场“数学统考”，52个模型同台竞技，22套“试卷”轮番轰炸，从小学数学到高考难题，从应用题到纯算术，全方位检验它们的数学推理能力。

结果出来了——有些“学霸”名副其实，有些“偏科生”原形毕露。一起来看看这份AI数学成绩单。

01.为什么要给AI搞一场“数学高考”？

你可能听过这样的新闻：某大模型在某数学测试中得分突破了90%。听起来很厉害，对吧？但问题是，如果这些测试题早就被“偷偷”放进了模型的训练数据里呢？

这就是所谓的数据污染——模型不是在“解题”，而是在“回忆答案”。就像学生提前拿到了考试答案，考满分也不代表真学会了。

更麻烦的是，现有的评测方法本身也有问题。传统做法是用“正则表达式”这种死板的规则去匹配答案，但模型输出的格式千奇百怪：有的写“1/2”，有的写“0.5”，有的在答案前后加一堆解释。规则稍微改一下，成绩就天差地别。

所以，研究团队决定自己搭一个“考场”——MathEval。

02.MathEval的“考卷”长什么样？

MathEval整合了22个数据集，堪称AI界的“数学题库大全”。这些题目覆盖了三个维度：

题目类型：从纯算术题到数学应用题（就是那种“小明买苹果”类的文字题）

语言：中英文各占一半，看看模型是“偏科”还是“双语通”

难度：从小学水平一路爬到高考难度

最硬核的是，MathEval还专门收录了2023年和2024年的中国高考数学真题。这些题都是首次亮相，保证任何模型都没“刷”过。以后每年还会更新——相当于AI每年都要参加一次“高考”，想靠背题蒙混过关？没门。

03.阅卷老师是谁？GPT-4！

你以为考完就完了？怎么判卷才是真正的技术活。

研究团队想了一个办法：让GPT-4当阅卷老师。GPT-4擅长理解各种表达方式，无论模型输出的是分数、小数还是带解释的长篇大论，它都能准确判断对错。

但有个问题：不是所有人都用得起GPT-4。于是团队又训练了一个开源的“判卷模型”，基于DeepSeek-7B打造，效果接近GPT-4的水平。这样一来，全球的研究者都能免费使用这套评测工具。

04.成绩揭晓：谁是“数学王者”？

52个模型参加了考试，结果分成三大阵营：

闭源模型：实力碾压

Claude-3.5-Sonnet以77.0%的平均准确率登顶，大幅领先GPT-4的60.8%。它在中英文题目上都表现出色，尤其是在高难度题目上优势明显。

WenXin 4.0（文心一言）和Gemini 1.5 Pro紧随其后，准确率都超过了74%。

开源模型：紧追不舍

Qwen2-72B-Instruct（通义千问）以74.4%的成绩领跑开源阵营，已经非常接近闭源模型的顶尖水平了。这说明开源模型正在快速追赶。

数学专精模型：小身材大能量

专门为数学定制的DeepSeek-Math-7B-RL，虽然参数只有70亿，却拿到了63.0%的成绩，超过了同体量的通用模型。这证明针对特定领域的“补习”确实有效。

05.三大“翻车”现场：AI数学也没那么神

成绩单背后，研究还揭露了AI数学能力的三个“致命伤”：

1. 一换题就“原形毕露”

研究团队发现，用新的高考题（Gaokao-2023）测试时，很多模型的排名大幅下滑。这说明它们之前的高分，可能有一部分是靠“刷旧题”刷出来的。就像学生做熟了模拟卷，一遇新题就懵了。

2. 中文题比英文题更难？

几乎所有模型在中文数学题上的表现都差于英文题。尤其在小学应用题这种需要大量语言理解的题目上，差距更明显。这可能是因为训练数据里英文数学题更多，也可能是因为中文的表达更复杂。

3. 会“算数”不等于会“解题”

有意思的是，有些模型在纯算术题上表现不错，但一到需要读题理解的应用题就“翻车”。反过来，专门在应用题数据上“补习”过的模型，纯算术能力反而偏弱。这说明AI的数学能力是“碎片化”的，还没有真正融会贯通。

06.这跟我们有什么关系？

你可能会想：AI会不会做数学题，关我什么事？

其实关系很大。想象一下未来的教育场景：AI助教给学生一对一辅导数学、AI自动批改作业和试卷、AI为不同水平的学生生成个性化练习题……这些应用的前提是——AI真的懂数学，而不是在假装懂。

MathEval的出现，就像给所有AI数学能力安了一面“照妖镜”。它能帮教育工作者挑选真正靠谱的AI工具，也能倒逼大模型厂商去解决真实的问题，而不是靠“刷题库”刷出来的虚假繁荣。

07.未来还有哪些挑战？

MathEval目前主要覆盖K-12（从小学到高中）的数学，还没涉及大学数学和需要看图解题的几何题。研究团队表示，后续会补充这些内容。

更有意思的是，最近清华大学等机构提出了一个叫COUNTERMATH的评测基准，专门测试大模型“举反例”的能力。结果发现：哪怕是最先进的模型，在面对“请举出一个反例”这种问题时也经常翻车。这说明，会做题离“真正理解数学概念”还有很长一段路。

小结

MathEval的这场“数学统考”告诉我们三件事：

1.顶尖AI已经能搞定不少中小学数学题了——Claude 3.5和Qwen2的表现确实亮眼

2.但高分的背后可能有“刷题”的水分——一换新题就露馅

3.真正的数学推理能力，AI还差得远——它们更像是“解题机器”，而不是“数学家”

下次当你的AI助手帮你解出一道数学题时，不妨留个心：它是在“思考”，还是在“回忆”？

科普视频

来源｜羊城晚报

文章信息

Tianqiao Liu, Zui Chen, Zhensheng Fang, Weiqi Lu, Mi Tian, Zitao Liu. MathEval: A Comprehensive Benchmark for Evaluating Large Language Models on Mathematical Reasoning Capabilities. Frontiers of Digital Education, 2025, 2(2): 16

DOI:10.1007/s44366-025-0053-z

识别二维码 免费获取原文

往期回顾

论文解读 | MathEval：评估大语言模型数学推理能力的综合基准

孩子数学学不好？这套“3+5”智慧课堂模式或许是最好的解药

论文解读 | 浙江大学吴飞教授团队：基于SOLO分类法的大语言模型驱动认知诊断

一图看懂｜数字教育研究全球十大热点 2026

FDE 2025年被引次数最多10篇论文盘点：GenAI浪潮下的教育变革图谱

FDE 2024年被引次数最多10篇论文盘点，你的参考文献里有几篇？

招聘 | 高教社博士后科研工作站2026年度招聘简章

期刊介绍

期刊特点

1. 国际化投审稿平台ScholarOne Manuscripts

2. 严格的同行评议（Peer Review）

3. 免费语言润色，有力保障出版质量

4. 不收取作者任何费用

5. 不限文章长度

6. 审稿周期：第一轮平均30天，投稿到录用平均60天

7. 在线优先出版（CAP）

8. 通过SpringerLink平台面向全球推广

在线浏览

https://journal.hep.com.cn/fde

（中国大陆免费下载）

https://link.springer.com/journal/44366

在线投稿

https://mc.manuscriptcentral.com/fde

邮发代号

80-164

联系我们

fde@hep.com.cn

010-58582379, 010-58581834