「评测缺陷」共找到 811 篇相关文章
AI如何看懂足球？上海交大团队打造Multi-Agent系统，全面解析“美丽足球”！
现有足球AI研究存在不足，上海交大团队打造Multi - Agent系统。他们构建SoccerWiki知识库、SoccerBench评测基准和SoccerAgent多智能体系统，该系统多工具协作，实验中碾压GPT - 4，数据和代码将开源。
姚顺雨腾讯首篇论文：给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。
AI修Bug新SOTA：SWE-Bench Lite60.33%修复率，像人一样能积累经验，中科院软件所出品
ExpeRepair是中科院软件所团队推出的仓库级缺陷修复系统，模拟人类认知的情景和语义两种记忆模式，能积累经验。在SWE - Bench Lite评测中，其Claude - 4+o4 - mini组合修复率达60.3%居首。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙，近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈，蚂蚁灵波郑可成介绍模型，上海交大李永露分享评测基准，圆桌对话探讨数据挑战与破局路径。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
李飞飞、Jim Fan和徐丹飞联合重磅论文：机器人灵巧手，可能走错了路
李飞飞等学者联合发表论文，分析当前触觉融合方案缺陷，提出 T - Rex 架构。它改变触觉输入方式，使用新编码方法和数据集，经三阶段训练，在 12 项任务评测中平均领先 30 个百分点，也指出了局限与未来方向。
当世界模型不止「视频」该如何评估？WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著，但评估存在局限。WorldBench 团队构建 WorldLens 评测框架，从五个维度评测开源世界模型，其评测 EvalKit 已公开，可暴露模型能力边界与失效模式。