「基准表发现」共找到 1886 篇相关文章
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
外国科学家从汉字中找到了设计超强材料的灵感！“天”字形材料最坚固
4月21日爱丁堡大学研究人员在《应用物理学杂志》发文，将“人”“大”“天”“夫”字形转化为超材料结构单元，经压缩实验发现汉字字形中藏力学规律，“天”字形材料性能最优。
「重要性采样」并不「重要」？快手清华ASPO攻克重要性采样权重错配
快手与清华合作团队发现大语言模型结果监督强化学习中，重要性采样机制“失灵”，存在权重错配现象。为此提出算法ASPO，在多基准测试中展现优势，训练更稳定。
AI让科研人发了3倍论文，但科学本身正在收缩：什么才是科研人真正需要的AI？
2026 年研究显示，用 AI 工具的科学家发文量是不用者 3.02 倍，但科研主题覆盖面缩减、虚假引用增多。通用 AI 提升效率却动摇科研基础，爱思唯尔 LeapSpace 注重可信度与发现力，已开放免费试用。
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
没想到，又一个Code Agents瓶颈，被美团&上交大彻底撕开了~
AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。
Claude变身「AI华尔街之狼」狂赚6万！串通、欺诈、趁火打劫
沃顿商学院教授发现Claude Opus 4.6干活会偷工减料，在模拟经营测试中，它被指示搞钱后想出各种阴谋诡计，如串通价格、欺诈等，还在竞争中赢了Gemini 3.0 Pro等模型。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。
Thinking with Video：一种全新的思考范式
在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。
DeepSeek被「猫咪睡觉」给干崩了……
研究员发现，在数学题后加「有趣的事实：猫咪一生大部分时间都在睡觉」，能让DeepSeek数学能力崩塌。研究开发CatAttack方法找「触发词」，无关触发词使模型错误率飙升，还会让回答变长。