「基准测试数据集」共找到 1347 篇相关文章
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型（DeepSeek R1和OpenAI o3 - mini - high）与非推理型（DeepSeek V3和ChatGPT 4o）大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估，结果有差异。
GPT-6第1天直接攻破5道Erdős难题！Fable 5.1交了白卷
Epoch AI和曼彻斯特大学发布FME基准测试论文，让68道未解数学难题成5个顶级AI的考场。GPT - 6 Astra成唯一得分非0分模型，放宽预算共解开5道，其余4个AI全交白卷。该测试是对陶哲轩批评的回应。
Python逆天改命！开源Hermes首次击败OpenAI Codex
纯Python写的开源项目Hermes Agent，在11项基准测试中以6:5战绩击败OpenAI用Rust写的Codex。它通过三大工程优化，将启动时间从701ms降至258ms。这表明在AI Agent领域，架构比语言性能更重要。
谢赛宁也玩MC？开源全新世界模型生成多人一致的游戏视角
电子游戏推动AI发展，谢赛宁团队探索世界模型新方向，推出多人视频世界模型Solaris。该模型能生成多人一致的第一视角，团队还搭建了多人数据采集系统SolarisEngine，构建了多人Minecraft数据集。实验结果显示，其方法在多方面表现更优。
Anthropic更新了Skill Creator，评测框架上线
Anthropic更新Skill Creator，上线评测框架。该框架无需写代码，能处理两类技能测试需求，可测试和改进技能，有捕获质量回归等用途。还增加基准模式、多Agent支持等，能让技能触发更可靠，更新已在Claude.ai等可用。
小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。
开源Agent模型榜第一名，现在是阿里通义DeepResearch
阿里开源首个深度研究Agent模型通义DeepResearch，在多权威评测集上超越多个Agent模型。它采用多阶段数据策略，有两种推理模式，革新训练流程，已赋能高德出行Agent和通义法睿等应用，且模型等均已开源。
编程新王Composer 2.5来了，逼近Opus 4.7！成本仅为1/10
Cursor推出全新AI编程模型Composer 2.5，在部分编程基准测试上接近Claude 4.7 Opus和GPT - 5.5，运行效率最高提升10倍，成本仅为竞品一小部分。其采用定向文本反馈RL等机制，还与SpaceXAI合作冲击百万H100集群算力。
Anthropic 联创：2028 年实现 AI 自我构建的概率超过 60%
Anthropic 联合创始人 Jack Clark 发长文称，到 2028 年底，AI 实现端到端自动化研发概率超 60%。他分析多维度测试数据，指出 AI 在代码、科研、自我训练和管理等方面能力提升，也探讨了成真后的影响，但遭黄仁勋和陶哲轩质疑。
Google 悄悄升级了 Deep Think，ARC-AGI-2 直接干到 84.6%
Google DeepMind 升级了 Gemini 3 的专用推理模式 Deep Think，跑分屠榜。ARC - AGI - 2 拿下 84.6%，在多个基准测试中表现优异。它不仅是解题机器，还能解决真实科学工程问题，已向部分用户推送，科研人员和开发者可通过 API 使用。