搜索：Coding 基准测试

「Coding 基准测试」共找到 2875 篇相关文章

Zed 为什么不用自己造 Agent？OpenAI 架构师给出答案：Codex 重划 IDE × Coding Agent 的分工边界

Coding agents 是应用型 AI 活跃领域，但团队常重复构建脆弱基础设施。OpenAI 的 Codex 提出“模型和 Harness 共同构建”，架构师介绍构建挑战与使用模式，还阐述了将模型适配到 Harness 的问题及未来发展方向。

当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。

Qwen3-235B-A22B在Aider多语言编码基准初步测试中击败Sonnet 3.7 Thinking和OpenAI o1，成本便宜150到600倍。Qwen3-32B准确率超GPT-4.5和GPT-4o ，代码编辑格式正确率达100%。

本文是对图灵奖得主、Postgres 奠基者 Mike Stonebraker 的访谈。他直言大模型 Text - to - SQL 在真实数据库测试得分低，批评谷歌、甲骨文等公司做法，还探讨数据库未来，如 Agent 读写与数据库结合、DBOS 技术等。

港中文和华为诺亚实验室联合提出ReliableMath基准，探究大模型推理可靠性。提出评估准则，构建含可解与不可解问题的ReliableMath数据集，实验揭示大模型缺陷，还提出提高可靠性的对齐策略。

本文编译了软件专家 Simon Willison 在播客的访谈内容。他指出 Vibe Coding 与 Agent 工程正走向融合，AI 写代码渐趋可靠，人类审查成开发瓶颈，还探讨了 AI 对编程的影响、算力成本博弈等问题。

Epoch AI和曼彻斯特大学发布FME基准测试论文，让68道未解数学难题成5个顶级AI的考场。GPT - 6 Astra成唯一得分非0分模型，放宽预算共解开5道，其余4个AI全交白卷。该测试是对陶哲轩批评的回应。

元老级 AI 大师 Jeremy Howard 批评当下技术话题，称马斯克和 Dario 不懂现代软件工程。他认为大模型虽能生成代码，但难胜任软件工程，Claude Code 未突破现有技术，还会削弱开发者对系统的理解。

斯坦福与英伟达等机构联合提出 TTT - Discover 方法，让 LLM 在测试时强化学习。它在多任务上成绩出色，如在数学、GPU 内核等领域超越人类和其他 AI，计算成本低，或为持续学习打开新空间。

网易有道推出国内大厂首个 100% 开源 Agent 产品有道龙虾 (LobsterAI)，发布不到一月在 GitHub 获 4000+ Star，还获‘龙虾之父’点赞。有道 AI 应用架构师李良才在大会分享其养成史、架构选型及 Vibe Coding 实战。