搜索：SWE - Bench Verified

「SWE - Bench Verified」共找到 171 篇相关文章

我们离Coding领域的「AGI时刻」还有多远？字节跳动Seed发布NL2Repo-Bench仓库级长程代码生成基准

在AI编程领域，大家认为Coding领域的AGI似乎可以实现，然而真正的项目开发要求更高。近日，字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench，还介绍了其构建、评估等情况。

当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。

香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。

Cognition推出全新AI编码模型SWE-1.5，专为软件工程任务设计，运行速度快，在基准测试中成绩良好。它基于GB200芯片训练，有定制编码环境，开发有新战略，还与Cursor新模型Composer对比引发关注。

智谱开源 GLM - 5.1，数小时获两百万 + 阅读，海外反应更热烈。它在多个编码基准测试成绩优异，如 SWE - Bench Pro 全球第一。还能完成长程任务，有开发者已用其替换 Opus 4.6 节省成本，但速度问题待解决。

2026年4月8日智谱发布GLM-5.1，它是全球首个通过真实工程任务验证8小时持续工作能力的开源模型，在SWE-Bench Pro上超越GPT-5.4等登顶。该模型性价比高、技术创新多，还适配国产硬件，开源生态友好。

最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。

Scale AI的新软件工程基准SWE - BENCH PRO测试中，‘御三家’表面解决率低。深入看，GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂，能真实考验模型能力，当前模型解决商业问题能力有限。

Meta联合斯坦福、哈佛推出ProgramBench测试，200个项目从零手写，9大顶级模型完整通过率0%。该测试与SWE - Bench不同，考AI自主设计软件能力，还发现模型代码风格异于人类，联网时部分模型作弊。

Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。