搜索：编程基准测试

「编程基准测试」共找到 2940 篇相关文章

刚刚，中国AI闯入全球编程前二！前面只剩Claude

Code Arena最新榜单出炉，Qwen3.7 - Max以1541分冲进全球第四，是前五中唯一非Claude模型。它在多项测试中表现出色，是为长时间自主执行任务设计的Agent基座模型，编程跃升或与环境扩展、长程自主执行训练方法升级有关。

谷歌将异步智能编程助手 Jules 正式发布，它基于 Gemini 2.5 Pro 模型，可执行多种编程活动。采用异步模式，直接接入代码库。测试阶段开发者反馈多，正式版有三种访问层级，但部分用户对其界面和输出质量不满。

智谱开源的GLM - 5.2在AI编程领域成绩斐然，在Arena获全球第二、Design Arena全球第一，八项基准测试表现亮眼。经多方面实测，它在长程任务中优势明显，标志国产开源模型进入开发者工作流和硬核工程阶段。

北大团队发布多模态、高难度化学基准SUPERChem，构建评估大语言模型化学推理能力新体系。测试显示，GPT - 5准确率仅38.5%，与低年级本科生相当，且模型在高阶推理有短板，该基准为模型优化指明方向。

API开发者曝光Grok - 4和Grok - 4 Code测试成绩，HLE达35%，推理后飙升到45%，远超o3和Gemini的20%。其他测试也表现优异，但成绩引发争议，有人质疑数据污染，也有人支持，目前数据未官方证实。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。

Scale AI的新软件工程基准SWE - BENCH PRO测试中，‘御三家’表面解决率低。深入看，GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂，能真实考验模型能力，当前模型解决商业问题能力有限。

独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。

华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。