「评测环境」共找到 1120 篇相关文章
从「知题」到「知人」：UserRL让智能体学会「以人为本」
大语言模型距成真正用户伙伴缺‘知人’能力。来自UIUC与Salesforce团队提出UserBench和UserRL方案。前者将‘用户特性’制度化，构建评测环境；后者搭建统一强化学习框架，探索奖励建模，二者让‘以用户为中心’落地。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
南大团队直击大模型高分神话：人类90分，最强模型仅49分
南京大学傅朝友团队在Google Gemini评测团队邀约下推出视频理解新基准Video - MME - v2。它有创新的分层能力体系与组级非线性评分，经超3300人工时标注。评测显示模型与人类差距大，还揭示传统Acc指标虚高、‘Thinking’并非总增益等现象。
混元开源PhoneBuddy-4B与5篇系列论文：多项手机Agent真机评测超过GPT-5.4
腾讯混元Phone - use Agent团队发布PhoneBuddy - 4B及5篇系列论文。研究探讨如何训练真实可用的Phone - use Agent，采用Real + Mock方式，实验显示该方法提升效果显著，4B模型多项任务超GPT - 5.4。
面向6G环境感知通信！西电开源3Dx3D无线电地图数据集与生成式基准框架
面向6G，西安电子科技大学等团队联合提出高分辨率多模态三维无线电图谱数据集UrbanRadio3D，构建三维无线电图生成框架RadioDiff-3D，弥补了当前主流RM构建方法与数据集的局限。
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。
三维空间太难懂？RoboTracer让机器人理解复杂空间指令，推理3D空间轨迹，开放世界也能精确行动
家庭环境复杂，让机器人理解空间指令难，现有VLM多聚焦2D推理。北航、北大等联合推出多模态大模型RoboTracer，能精准生成3D轨迹，在多项评测中领先，还能直接集成到机器人，完成复杂任务。
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。