「基准测试集」共找到 2508 篇相关文章
多模态大模型理解物理工具吗？PhysToolBench提出了衡量多模态大模型对物理工具理解的基准
香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。
陶哲轩亲测！GPT-5 Pro 40分钟破解3年难题，登顶最难数学考试
数学家陶哲轩将几何难题交给GPT - 5 Pro，虽推理完美但无解。同一周，GPT - 5 Pro在FrontierMath测试集夺冠。陶哲轩测试发现AI在科研不同层面表现有别，也揭示了AI理解力受限及人类与AI的分工边界。
给几何图片写标题就能让AI更聪明，UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用，其几何推理能力成研究热点。现有方法泛化能力有限，UIUC团队提出Geo - Image - Textualization框架，发布GeoReasoning - 10K数据集，提升模型几何推理表现。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。
ICCV 2025 | 打造通用工具智能体的基石：北大提出ToolVQA数据集，引领多模态多步推理VQA新范式
北大团队提出ToolVQA数据集，用于提升基础模型工具使用能力。它含2.3万条样本，贴近真实需求。通过ToolEngine构建，涵盖多工具与任务领域。微调后模型表现佳，代码与模型已开源。
Qwen 3-235B Aider编程能力击败Claude3.7，成本便宜百倍
Qwen3-235B-A22B在Aider多语言编码基准初步测试中击败Sonnet 3.7 Thinking和OpenAI o1，成本便宜150到600倍。Qwen3-32B准确率超GPT-4.5和GPT-4o ，代码编辑格式正确率达100%。
骂谷歌干蠢事、炮轰甲骨文、AI在真实数据库测试得分为0！83岁图灵奖数据库教父的硅谷“狂人日记”
本文是对图灵奖得主、Postgres 奠基者 Mike Stonebraker 的访谈。他直言大模型 Text - to - SQL 在真实数据库测试得分低，批评谷歌、甲骨文等公司做法，还探讨数据库未来，如 Agent 读写与数据库结合、DBOS 技术等。
ICML 2026 Oral | 为3D空间智能数据构建全自动数据飞轮，Holi-Spatial打造400万级空间多模态数据集
来自多机构的研究团队提出 Holi - Spatial，可从原始视频自动生成 3D 重建等数据，构建 400 万级空间标注数据集 Holi - Spatial - 4M，提升 VLM 空间能力，还形成自动化数据飞轮，但存在计算成本高、特定场景表现不佳等局限。
GPT-6第1天直接攻破5道Erdős难题！Fable 5.1交了白卷
Epoch AI和曼彻斯特大学发布FME基准测试论文，让68道未解数学难题成5个顶级AI的考场。GPT - 6 Astra成唯一得分非0分模型，放宽预算共解开5道，其余4个AI全交白卷。该测试是对陶哲轩批评的回应。