达摩院VCBench曝光AI软肋：多模态大模型小学数学视觉题准确率不足50%

教育AI的”阿喀琉斯之踵”

达摩院最新研究表明，尽管大语言模型在文本数学题上已接近人类水平，但当面对需要视觉推理的小学数学题时，表现最好的Gemini 2.0-Flash准确率仅49.8%，与人类93.3%的平均分形成鲜明对比。

VCBench基准三大特征

1. 严格视觉依赖性：

   • 每道题平均包含3.9张关联图像

   • 答案必须通过分析视觉元素间关系得出

2. 认知维度全覆盖：

   

   视觉推理能力

   时间序列分析

   空间关系理解

   几何变换推理

   物体运动轨迹预测

3. 真实教育场景：

   • 题目来自人教版/北师大版小学数学教材

   • 包含”水箱水位变化””积木数量计算”等实际题型

模型表现深度分析

在六大核心能力维度中，所有模型在组织模式识别（如找规律填图）上表现最差：

“这些模型会犯令人啼笑皆非的错误，”项目负责人张教授举例，”比如把钟表指针夹角计算为360°，只因没理解指针重叠概念。”

技术瓶颈与突破方向

研究团队指出三大改进路径：

1. 跨模态对齐强化：当前图像-文本嵌入空间存在语义断层

2. 动态视觉记忆：需建立时间维度上的视觉关系建模

3. 因果推理模块：缺乏对”如果-那么”类视觉假设的验证能力

教育科技公司猿辅导已基于该基准开发专项训练集，计划用于下一代教育AI的研发。