「Vending - Bench」共找到 146 篇相关文章
1美元Token撬动4800美元收益！AI挑战百万美元级基准，最赚钱的Agent出现了
Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准，用经济价值衡量模型。它含400道高难题目，覆盖多领域。目前最强模型能产出约50万美元价值，但离可交付专业任务还有距离。
别再用单选评测骗自己了！Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。
面向「空天具身智能」，北航团队提出星座规划新基准丨NeurIPS'25
卫星星座成数字经济时代基础设施，但运行背后规划难题待解。北航刘偲教授团队提出首个大规模真实星座调度基准AEOS - Bench，训练内嵌时间约束的调度模型AEOS - Former，为‘AI星座规划’奠定新技术基准。
刷榜风波惊动OpenAI后，这家中国团队拿回Agent硬核榜单第一
在OpenAI主导的MLE - Bench基准测试上，百度伐谋2.0击败对手登顶。此前有团队刷榜引发风波，官方新增清洁赛道。伐谋2.0在多方面优化，还在汽车、金融、科研等产业落地解决难题。
有人把 Opus 4.6 换掉了，成本省了 97%
智谱开源 GLM - 5.1，数小时获两百万 + 阅读，海外反应更热烈。它在多个编码基准测试成绩优异，如 SWE - Bench Pro 全球第一。还能完成长程任务，有开发者已用其替换 Opus 4.6 节省成本，但速度问题待解决。
浙大联手字节：开源大规模指令跟随视频编辑数据集OpenVE-3M
浙江大学与字节跳动合作，提出大规模指令跟随视频编辑数据集 OpenVE-3M，有 3M 样本对。还提出数据构造管线、编辑模型 OpenVE-Edit 及评测集 OpenVE-Bench，小参数量下超越现有开源模型。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。
首个地球科学智能体Earth-Agent来了，解锁地球观测数据分析新范式
上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。