在这次公考行测的逻辑推理题中，顶尖大模型如o1、Gemini-2.5 Pro、Claude-3.7-Sonnet等遭遇了惨败，其正确率远低于人类顶尖选手。此次测试使用的是由CMU团队建立的新基准——VisualPuzzles，这个基准旨在考验AI的视觉拼图解决能力。文章主要介绍了VisualPuzzles的测试结果以及模型的推理能力。文中提到，模型们在知识密集型基准上表现强劲，但在专注推理且依赖较少知识的任务上却可能遭遇失败。研究者发现知识并不等于推理，模型的推理能力与领域专业知识之间有一定的边界。他们提出了VisualPuzzles这个基准数据集，旨在测试模型的视觉推理能力并弱化对专业知识的依赖。在测试中，模型的表现不尽如人意，尤其是在空间推理题和找规律的归纳题中。文章还讨论了模型在推理过程中可能存在的问题，如缺乏深层逻辑推理能力以及对空间信息理解的不稳定等。文章指出模型在逻辑推理方面与人类还存在显著差距，未来的研究需要关注如何强化模型的推理结构并设计出兼具复杂逻辑与通用认知的新型网络或推理模块。文章也提到了模型在某些推理类别之间可能存在泛化现象，但这并不代表模型具备了真正多样化的推理能力。研究者仍需继续努力探索如何让模型在逻辑推理方面更加接近人类水平。这篇文章的发布对于未来多模态大模型的发展具有一定的指导意义，强调了模型在逻辑推理方面的不足以及未来的研究方向和挑战。
