「数学竞赛基准」共找到 1337 篇相关文章
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
没想到，又一个Code Agents瓶颈，被美团&上交大彻底撕开了~
AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。
Thinking with Video：一种全新的思考范式
在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。
DeepSeek被「猫咪睡觉」给干崩了……
研究员发现，在数学题后加「有趣的事实：猫咪一生大部分时间都在睡觉」，能让DeepSeek数学能力崩塌。研究开发CatAttack方法找「触发词」，无关触发词使模型错误率飙升，还会让回答变长。
前 DeepMind 研究员反思：评测，而非算力或数据，才是下一阶段的瓶颈
前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出，当前主流评测体系滞后，静态基准会“安静失效”。作者主张引入序参量，呼吁构建自演进评测，还为一线工程师提供了研发建议。
全球第二易主，谷歌逆袭登顶！OpenAI 500亿股票池曝光，Ilya躺赚40亿
谷歌母公司成全球市值TOP 2，Gemini市场份额疯涨。被逼急的OpenAI甩出500亿美元员工股票池，Ilya或分40亿。谷歌有入口优势，AI竞赛进入拼入口阶段，OpenAI砸钱抢人赌未来。
“图片秒生”，腾讯混元图像2.0模型正式发布，主打速度和真实感
5月16日，腾讯发布混元图像2.0模型，率先实现实时生图，生图速度快、质量高，能避免‘AI味’。在GenEval基准上准确率超95%，还发布实时绘画板功能，后续将推原生多模态模型。
AI如何看懂足球？上海交大团队打造Multi-Agent系统，全面解析“美丽足球”！
现有足球AI研究存在不足，上海交大团队打造Multi - Agent系统。他们构建SoccerWiki知识库、SoccerBench评测基准和SoccerAgent多智能体系统，该系统多工具协作，实验中碾压GPT - 4，数据和代码将开源。
他发明了价值万亿的AGI，如今穷困潦倒
1997年，马克·古布鲁德首提AGI概念，警告技术突破对国际冲突的影响。如今AGI成巨头博弈焦点，价值万亿，但他未获名利仍清贫。他呼吁遏制AI军备竞赛，提醒别让技术失控。