「实验评测」共找到 1858 篇相关文章
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。
鼠标的未来是手环？解码肌肉信号，Meta黑科技登上Nature
Meta推出非侵入性神经肌肉交互系统，利用手腕表面肌电图（sEMG）实现人机交互，该技术登上7月24日的Nature。实验在连续手势控制、离散手势控制和打字三个任务评测效果不错，适合特殊人群，也能弥补脑机接口数据不足。
为什么AI总是"记错"你？我们造了一个"合成人生"来测试
现有AI记忆评测只记'事'不记'人'，存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试，用'数字痕迹'评估AI Clone长期记忆能力，实验有反直觉结论并给出设计启示。
GUI智能体训练迎来新范式！半在线强化学习让7B模型媲美GPT-4o
浙江大学与通义实验室团队推出UI - S1，提出半在线强化学习训练范式。它融合离线与在线学习优势，用三项关键技术构建核心架构，新评测指标SOP更贴近真实表现，实验显示UI - S1 - 7B性能卓越，逼近GPT - 4o。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
代码Agent的苦涩教训！首次拆解上下文检索，直指自动化软件瓶颈
ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。
ICLR 2026 oral | AI代码真能进生产环境？SwingArena：从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。