「基准构建」共找到 2650 篇相关文章
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
造过 Codex 的人，为什么每天用 Claude Code
Calvin曾带队构建编程Agent Codex，如今日常用Claude Code。他和Garry Tan在播客聊了编程Agent的产品哲学差异、分发逻辑等。Claude Code拆分上下文表现出色，LLM成开发者工具推荐引擎，还探讨了构建、使用编程Agent的要点。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
在参与OpenAI、Google、Amazon的50个AI项目后，他们总结出了大多数AI产品失败的原因
Aishwarya Naresh Reganti 和 Kiriti Badam 参与超50个企业级AI产品构建。他们指出，如今AI产品构建成本降低，但多数仍失败。还分享开发陷阱与路径，如从低自治高控制起步、建立CC/CD框架等，也对AI未来发表看法。
GPT-5编程测评大反转！表面不及格，实际63.1%的任务没交卷，全算上成绩比Claude高一倍
Scale AI的新软件工程基准SWE - BENCH PRO测试中，‘御三家’表面解决率低。深入看，GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂，能真实考验模型能力，当前模型解决商业问题能力有限。
o4-mini暴击六大数学天团，攻破陶哲轩难题！4.5h激战人类阵地失守
Epoch AI团队举办竞赛，约40位数学精英分成8组与o4 - mini - medium在FrontierMath基准上对决。o4 - mini击败6组团队，虽未完全超越人类，但Epoch AI预测到2025年底AI可能超30% - 50%人类基准。
ACL 2026 | Spatial-Agent：地图Agent全新概念转换范式
论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。
理解Ray Data分布式数据处理原理-源码分析
Ray Data是构建于Ray之上的分布式数据处理库，提供高性能且可扩展的API，可用于AI场景。文章从源码入手，分析其流式执行原理，包括读取数据源、构建数据处理、输出数据等环节，还介绍了LogicalPlan转PhysicalPlan及流式执行过程。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
推特热议、AI 万亿美元新赛道，「上下文图谱」到底是什么？创业机会在哪？
文章围绕「上下文图谱」展开，探讨其定义、构建问题及创业机会。指出它是决策轨迹积累形成的结构，构建要解决双时钟等问题。大厂难以捕捉决策轨迹，初创公司有三条路可走，捕捉决策轨迹或成新万亿级平台。