「基准测试数据集」共找到 1347 篇相关文章
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。
开启 AI 自主进化时代，普林斯顿Alita颠覆传统通用智能体，GAIA榜单引来终章
普林斯顿大学AI Lab推出通用智能体Alita，秉持「极简即是极致复杂」哲学，采用「最小化预定义」与「最大化自我进化」设计范式，可自主创造MCP工具，在GAIA基准测试中表现卓越，还能实现MCP复用。
DeepSeek-R1 更新，思考更深，推理更强
DeepSeek R1 模型完成小版本升级至 DeepSeek - R1 - 0528，用户可在官网、APP 等体验，API 同步更新。该版本强化深度思考能力，在多基准测评表现优异，还改善幻觉、提升创意写作等能力。
LLM又曝致命缺陷：根本不会看时钟！博士惊呆，准确率不及50%
最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。
Claude Fable 5.1 发布：缓存读降价 75%，但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨，但出现价格悖论，缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平，推出 EFS 应对数据留存争议，还有多项科研演示。
不再止步于自然语言！PhiZero让世界模型学会「物理语言」
PhiZero由中科院自动化所团队研发，探索让AI读懂真实世界运动、交互与变化的“物理语言”。它构建Reason - then - Render框架，经大量数据训练，在多基准测试中表现领先，为AI理解物理世界开辟新通道。
别再乱调图像塔了！浙大 IJCAI 论文揭露 VLM 非对称性真相，给 CLIP 微调「踩刹车」
浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。