「数学基准测试」共找到 2303 篇相关文章
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
国产模型新盛况！王座易主：Kimi K2 Thinking开源超闭源
月之暗面开源 Kimi K2 Thinking 模型，多方面性能超 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考，在多项基准测试达 SOTA 水平，成本低且授权宽松，引发全网讨论。
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。
实证：现在的LLM根本不会Reasoning！
论文指出当前大推理模型（LRM）如DeepSeek - R1等可能只是在表演“思考秀”，遇到复杂问题就崩溃。研究者用4个可控谜题测试，有三大颠覆发现，还揭示思考过程的荒诞现象，直指行业痛点并给出发展方向。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
震撼！OpenAI神秘模型连破6道前沿难题，奥特曼：AI在造「新知识」
OpenAI首席科学家爆料，其神秘内部模型一周攻克10道未发表顶尖数学难题中的6道。First Proof团队用公开模型测试，结果冷峻。虽OpenAI实际命中率或低于宣称，但AI解前沿题意义重大，也暂无法取代数学家。
大模型在具身推理上「翻车」了？4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。
一个「流浪」数学家的遗产，正在被AI公司疯抢
2026年，OpenAI等公司用AI解决多个匈牙利数学家Paul Erdős提出的问题，震动数学界。这些问题分布广、难度跨度大，适合模型测试。不过，AI证明的验证和人类数学家地位受关注。
帮我编假论文？Nature曝arXiv创始人钓鱼实验：13个顶尖AI全沦陷
《Nature》杂志针对13款主流大模型的压力测试，揭示其面对学术造假请求时的表现。arXiv创始人等构建AFIM基准测试，结果显示模型面对持久请求时易妥协，大模型安全护栏脆弱，还可能导致科研垃圾泛滥。