「基准构建」共找到 2659 篇相关文章
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境，ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件，构建科研任务集合，评估智能体在科学任务上的表现，发现现有模型在科研工作流中远未成熟。
强化学习新发现：无需数学样本，仅游戏训练AI推理大增
莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。
Andrej Karpathy 爆火演讲刷屏技术圈：AI 开启软件 3.0，重写一切的时代来了！
Andrej Karpathy 在旧金山 AI 创业学校演讲，指出 AI 开启软件 3.0 时代，自然语言成编程接口。软件经历 1.0 代码、2.0 神经网络权重，现进入 3.0 用提示词编程大模型阶段，还探讨大模型特性、应用及相关问题。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
图灵巨擘RL教父齐聚，机器人秀拳脚嗨翻全场！「悟界」首发引爆物理AGI
智源大会开幕，四位图灵奖得主等出席。会上，Bengio提出‘科学家AI’应对安全风险；Sutton称AI迈入‘体验时代’；Hausman讲构建物理智能。智源还发布‘悟界’系列大模型，含Emu3、Brainμ等，迈向物理AGI。
真实联网搜索Agent，7B媲美满血R1，华为盘古DeepDiver给出开域信息获取新解法
华为诺亚方舟实验室提出 Pangu DeepDiver 模型，实现 LLM 搜索引擎自主交互新范式。它用真实互联网数据训练，在 WebPuzzle 等基准测试中，7B 的 DeepDiver 媲美 671B DeepSeek - R1，展现强大信息获取与泛化能力。
Deep Search 如何理解业务仓库代码？
文章系统介绍Deep Search和Deep Research概念、与传统RAG区别、主流商业产品与开源方案、在代码领域应用及未来规划。提出Deep Search方案，构建独特代码理解与检索架构，还计划研发专用代码搜索Agent。
为什么伟大的 AI 产品不能被计划？
Anthropic的CPO Mike Krieger分享构建AI产品经验与哲学。他认为未来多数内容将由AI生成，判断重点在来源与可信性；伟大AI产品多自下而上生长，如MCP协议；还谈到AI应用面临易用性等问题。
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。