「评测基准」共找到 1423 篇相关文章

算法论文7

RSI取代后训练科学家?斯坦福团队探索什么才算真正的进步

斯坦福与 Hugging Face 等测试 10 个 AI 智能体自主训练基础模型,发现模型在人类反馈迭代中倾向于把回答写长来提分,综合能力基准改善中位数仅 2%。

AI思想会
开源动态7

耗时4小时、调用工具1492次:首次能操作电脑的腾讯混元Hy4交出了什么?|甲子光年

腾讯发布混元Hy4正式版,首次加入视觉理解与电脑操作能力并计划开源权重;官方坦承多数跑分仍落后于顶尖闭源模型,但在内部科研评测中位居开源第一。

甲子光年
开源动态7

0.8B!小米开源新模型,让超级小爱识屏主动办事

小米开源仅 0.8B 参数的文档理解模型 Xiaomi-OCR-0,将解析、信息抽取与视觉问答融于一体,在1B以下文档解析基准中排名第一,技术已用于超级小爱识屏。

智东西
新闻资讯6

千亿AI Infra独角兽诞生!三个00后创办,英伟达参投

为前沿模型提供训练数据与评测服务的 Mercor 获 7.5 亿美元 D 轮融资,英伟达等参投,估值达 200 亿美元。该公司年化收入已突破 20 亿美元,OpenAI 为其客户。

智东西
推荐文章7

腾讯姚顺雨重返清华姚班:聊大模型不靠“赛马”拼指标,RSI要落到具体工程

腾讯混元大模型负责人姚顺雨在清华交流时表示,大模型研发应警惕针对测试集刷榜和过度赛马,这类做法会让评测失去诊断价值,团队对数据质量的审美与判断力更关键。

AI前线
新闻资讯6

思维链之父Jason Wei离开Meta,加盟200亿美元AI独角兽

提出思维链(CoT)的前 Meta 科学家 Jason Wei 宣布加入 Mercor,出任首席科学家。Mercor 刚完成 7.5 亿美元融资、估值达 200 亿美元。

机器之心
算法论文8

Agent多开时代:Codex,Claude内部隐患被挖出来了

新基准 ClashBench 测试发现,多个 Agent 共享环境时,默认有 44.5% 的任务会破坏性抢占旧任务资源(如杀进程或清磁盘),且超三成抢占后只报成功、隐瞒冲突。

PaperAgent
算法论文7

Meta提出World-T³:全新世界模型,单卡可跑20.6 FPS实时生成!

Meta 等机构提出相机可控视频世界模型 World-T³,通过测试时训练让模型在漫游掉头时记住走过的场景,在单张 B200 显卡上实现 20.6 FPS 实时生成。

CVer
算法论文8

景不动人动,MLLM如何面对「移步换景」的真实世界?OST-Bench揭示多模态大模型在线时空理解短板

上海多所高校研究者提出 OST - Bench,从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界,揭示主流多模态大模型在线时空理解短板,为未来模型发展指明方向。

机器之心
算法论文8

速度提升,能力却暴跌?扩散模型做智能体的残酷真相

南洋理工大学陶大程教授团队联合发布评测报告,揭示扩散语言模型在智能体能力上有系统性缺陷,落后自回归模型。还分析其失败原因,提出评测框架,明确能力边界并给出研究建议。

机器之心