「基准测试」共找到 2052 篇相关文章
具身智能算法哪家强？RoboChallenge见真章！全球首个大规模真机算法评测平台来了
Dexmal原力灵机联合Hugging Face推出RoboChallenge项目，它是全球首个大规模、多任务的真实物理机器人基准评测平台。该平台创新采用‘远程机器人’架构，有30项真实任务基准集等，已验证多种算法表现。
这个 Agent Team，终于不是"角色扮演"了
作者测试了 MiniMax 新出的 Agent Team，通过深度研究公司、整理会议逐字稿、做直播数据分析三个测试，展现其优势。指出 Agent Team 核心是对抗式质量门禁，是复杂任务兜底系统，而非简单 prompt 编排。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
伯克利斯坦福联手造出「科研预言家」：77%准确率押注研究想法前景
伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」，从顶会提取想法对比案例训练，不借助实验验证，靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色，还能预测AI新点子。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
BeyondSWE：AI编程80分是真的强，还是考卷太简单？
前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。
BesiegeField：LLM能否学会设计机器？
香港中文大学推出基于游戏《Besiege》的测试平台BesiegeField，探讨LLM能否学会设计机器。研究通过组合式机器设计视角，测试LLM，提出多智能体迭代设计流程等，发现LLM有挑战但并非不可实现，如Gemini 2.5 Pro表现不错。
马斯克吹牛了吗？Grok 4第一波实测出炉：既能完虐o3，也菜到数不清6根手指
马斯克称Grok在各学科达博士后水平，激起网友兴趣。博主测试显示Grok 4在多项测试中完胜o3，网友还用它写游戏、让概念可视化。不过Grok 4也有翻车表现，马斯克称其仍有改进空间。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
Kimi开源又放大招！20秒更新万亿参数的中间件来了
Kimi开源出新中间件checkpoint - engine，让Kimi K2万亿模型参数进入“秒更时代”。它能支持一次性发送更新权重，实现点对点动态更新，在K2中发挥重要作用，还可抵御单点故障。