「基准表发现」共找到 1842 篇相关文章
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
给定"标价"的 LLM 智能体，能规划出"最优"路径吗？
在LLM智能体多轮工具使用中，评估成本是难题。来自多所高校的团队推出CostBench基准，围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板，并分析失效根源，还指出下一代智能体演进方向。
大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准
现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。
国内首套：港中文团队发布7模态人体动作数据集，揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集，成果被 ACM MobiSys 2026 接收。用其测试主流大模型，发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规，还开展了基准测试。
为什么GPT-5算得出微积分，却数不清积木？
文章对GPT - 5展开系统化空间能力测评，涵盖8个基准、超10亿token成本。提出“空间智能六维图谱”，发现GPT - 5在MM和SR达人类水平，但MR、PT等方面有短板，还揭示闭源与开源模型在复杂任务上差距小等情况。
Sora 2 惊现 LLM 推理能力，视频生成模型也能搞推理？
Sora 2在科学推理基准测试中获55%成绩，虽不敌GPT - 5，但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题，网友也证实背后或有GPT - 4o等处理。此外，Google研究显示视频模型经大量训练或有推理能力。
谷歌Gemini 3杀疯了！陶哲轩亲测：10分钟干翻百年数学难题
Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录，Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明，同时它还霸榜物理基准测试CritPt。
ECCV 2026 | 智能助手何时该主动开口？Vinci2让第一视角AI助手从「有问必答」走向「主动服务」
现有第一人称视频助手难以自主判断何时介入服务用户。大连理工大学等团队提出Vinci2，含评测基准EgoServe和智能体EgoMemo。它已被ECCV 2026接收，代码和标注均开源。
OpenAI「解决」10道数学难题？哈萨比斯直呼「尴尬」，LeCun辛辣点评
OpenAI研究员宣称GPT - 5「发现」10个悬赏数学难题的解决方法，舆论误以为是解题方法，后发现只是检索到已有文献，引发学界大佬群嘲和对AI夸大宣传的讨论。