「基准评测」共找到 1370 篇相关文章
ECCV 2026 | 智能助手何时该主动开口？Vinci2让第一视角AI助手从「有问必答」走向「主动服务」
现有第一人称视频助手难以自主判断何时介入服务用户。大连理工大学等团队提出Vinci2，含评测基准EgoServe和智能体EgoMemo。它已被ECCV 2026接收，代码和标注均开源。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率，华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。
具身智能“高考”难疯了！人类100分，最强模型12.8
原推出RoboTwin系列基准的团队带来RoboDojo，这是统一的仿真+真实世界机器人操作评测基准。它设42个仿真任务、18个真实任务，让30个主流策略竞技，结果显示机器人距通用操作差距大。
CVPR 2026 Highlight｜让家电「在仿真中运转起来」，北大正式发布RealAppliance！
北京大学团队提出 RealAppliance 数据集与 RealAppliance - Bench 评测基准。前者收录 100 个精细家电资产，与真实产品系统多层面对齐；后者围绕五项任务评估模型家电操作规划能力，实验显示主流模型仍面临挑战。
VaseVQA：考古领域实现专家级，诊断+补弱RL框架
在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
机器人伸手时，杯子被挪走了：LIBERO-MAX用22.4万次仿真检验动态可靠性
本文介绍了斯坦福等多校研究者提出的机器人评测基准LIBERO-MAX，针对机器人执行任务中途环境变化的痛点，设计配对测试方案，经大规模仿真评测现有模型性能，为机器人动态鲁棒性改进提供标准化测试平台。
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
ICLR 2026 oral | AI代码真能进生产环境？SwingArena：从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。
AAAI 2026｜视频大语言模型到底可不可信？23款主流模型全面测评来了
合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。
最新12种GraphRAG技术全面评测
6月两篇论文对12种GraphRAG技术评测。GraphRAG通过构建图结构组织知识，在复杂推理等任务中优于传统RAG。不同GraphRAG技术在图构建、知识检索上表现各异，如RAPTOR图构建慢但令牌消耗少。