「评测指标」共找到 874 篇相关文章
AI修Bug新SOTA：SWE-Bench Lite60.33%修复率，像人一样能积累经验，中科院软件所出品
ExpeRepair是中科院软件所团队推出的仓库级缺陷修复系统，模拟人类认知的情景和语义两种记忆模式，能积累经验。在SWE - Bench Lite评测中，其Claude - 4+o4 - mini组合修复率达60.3%居首。
智元机器人发布并开源首个机器人动作序列驱动的世界模型
智元机器人发布并开源全球首个基于机器人动作序列驱动的具身世界模型 EVAC 及具身世界模型评测基准 EWMBench，构建全新开发范式，解决具身智能演进制约，提升策略模型筛选与训练效率。
Agentic AI的第三种范式来了，16家机构提出「伴身智能体」
16家海内外高校与科研机构的22位研究者提出ComBodied Agents新范式，它围绕人的长期状态与主体性构建。论文给出闭环技术框架与评测标准，还提到研究难点与风险，也为产品实践提供指导。
让GUI Agent不再「边做边忘」：快手、浙大提出MemGUI-Agent，攻克长程GUI任务
手机GUI Agent在长程任务中易遗忘关键信息，浙江大学APRIL实验室和快手主站技术部提出MemGUI - Agent，核心是ConAct，将上下文管理变为Agent动作，还开源MemGUI - 3K数据集，模型在评测基准取得佳绩。
OpenAI 全面拥抱 Agentic-First，实测有点扎心
OpenAI发布GPT - 5.6系列，Sol定位长周期Agent，训练目标转向Agentic - First。但目前难以用上Sol，且其评测数据因计数规则差异大，还出现变身话痨、少说话和干完活难兼顾的问题。
OpenClaw爆火，暴露12类致命隐患！MCP协议安全基准发布 | ICLR
OpenClaw等开源AI Agent项目爆火，MCP协议拓宽其能力也增大攻击面。北京邮电大学团队推出MSB安全基准，揭示MCP各阶段攻击有效，性能强的模型更易受攻击，还提出NRP指标平衡安全与实用性。
Google 在 AI 竞赛中如何从落后到反超的故事
本文讲述 Google 在 AI 竞赛中从落后到反超的历程。曾因傲慢错过先机，ChatGPT 问世后 Google 陷入恐慌，后通过创始人回归、团队合并、召回人才等举措，让 Gemini 模型多项指标超越 ChatGPT，实现逆袭。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
DeepSeek在Agent上做了件大事！
昨天DeepSeek发布V3.2正式版，强化Agent能力并融入思考推理，其在Agent评测达开源模型最高水平。文中分析Agent成开源‘心病’的痛点，介绍DeepSeek相关解决策略及成果，还给出使用示例。
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
大模型耗电舆论高，谷歌用数据还击。谷歌首席科学家称Gemini能耗低于预期，一年间能耗降至1/33，碳排放降至1/44。谷歌用更全面指标计算能耗，还从多方面优化使Gemini能耗降低。