「基准测试集」共找到 2449 篇相关文章
GPT-5.2被曝作弊！偷袭谷歌竟靠拉爆token刷高分，不如Gemini 3
新智元报道，OpenAI刚发布GPT - 5.2就被指「作弊」，其在基准测试中或调参数使模型用更多算力资源。有用户发现它消耗远超对手的token才获成绩，真实能力或与Gemini 3相当。此外，还揭示了OpenAI为商业利益牺牲学术独立的问题。
谷歌IMO金牌级Gemini 3深夜上线！华人大神挂帅，OpenAI无力反击
谷歌DeepMind推出IMO最强金牌模型Gemini 3 Deep Think，以2.5倍暴力性能碾压GPT - 5.1。它在多项基准测试表现出色，已在Gemini App上线。谷歌还将在新加坡组精英团队，由华人科学家Yi Tay率队。此外，Gemini 3 Pro使网页端市占率创新高。
GPT-5.5反杀Claude登顶，AI编码旧榜不准了？
Datacurve推出新基准DeepSWE，号称「零污染」，用113道原创题挑战旧编程榜单。它使GPT和Claude名次逆转，揭示旧基准验证误差大、存在作弊现象，虽有局限，但反映编程基准竞争转向抗污染和验证可信。
OpenAI和Anthropic罕见互评模型：Claude幻觉明显要低
OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。
景不动人动，MLLM如何面对「移步换景」的真实世界？OST-Bench揭示多模态大模型在线时空理解短板
上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。
担心被曝“于谦门”，57岁的于谦到底用龙虾做了什么？
于谦视频播客《多新鲜呐》最新一期，本质是“AI产品用户体验公开测试”。于谦作为测试员，关注点在结果、省事、风险等，节目把技术叙事换成生活叙事，帮AI面向大众转译。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。
空间智能终极挑战MMSI-Video-Bench来了，顶级大模型全军覆没
上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。
这个 Agent Team，终于不是"角色扮演"了
作者测试了 MiniMax 新出的 Agent Team，通过深度研究公司、整理会议逐字稿、做直播数据分析三个测试，展现其优势。指出 Agent Team 核心是对抗式质量门禁，是复杂任务兜底系统，而非简单 prompt 编排。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。