SWE - Bench Pro」共找到 574 篇相关文章

新闻资讯8

Claude Opus 4.5来了:谷歌把Anthropic逼到了墙角

上周谷歌发布Gemini 3 Pro表现惊艳,今日Anthropic推出Claude Opus 4.5应对。其编程能力强,SWE - bench Verified首超80%,且降价66%。还推出产品更新,开发者可按需选模型。

花叔
开源动态8

突破Claude-4编程上限!自进化Agent框架拿下新SOTA,底模越好性能越高,已开源

中科院、清华等提出SE - Agent自进化框架,突破Claude - 4编程上限。它让智能体系统性修订、重组与精炼思考过程,在SWE - Bench Verified上刷新开源框架SOTA,已开源。

量子位
开源动态8

开源即登榜!登顶全球前十AI编程智能体,UCL初创团队开源Prometheus

UCL初创团队EuniAI开源AI软件智能体Prometheus,在SWE - bench Verified上Pass@1达71.2%,成绩入官方主榜。它有图结构推理设计,能理解代码,成本低,官网有Demo展示其工程化能力。

新智元
算法论文8

蚂蚁EGSS算法破解Test Time Scaling困局 | ACL 2026

蚂蚁集团CodeFuse团队在ACL 2026主会论文中提出EGSS算法,破解Test Time Scaling困局。该算法精准识别高不确定性决策点,解决计算冗余与选择脆弱问题,在SWE - Bench - Verified上全模型提升5 - 10%。

量子位
新闻资讯7

GPT-5编程成绩有猫腻!自删23道测试题,关键基准还是自己提的

有人发现OpenAI测试GPT-5编程能力时,用的SWE-bench Verified子集仅477题,自行省略23题。若这些题默认零分,其得分比Claude Opus 4.1低。且该基准还是OpenAI自己提出的。

量子位
算法论文7

BeyondSWE:AI编程80分是真的强,还是考卷太简单?

前沿模型在SWE - bench Verified测试中得分超80%,但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测,规模是前者18倍,模型得分全跌破45%。还提出SearchSWE框架,结果显示搜索与编码能力融合待提升。

PaperAgent
新闻资讯7

刷榜AI全挂了!Meta斯坦福地狱级测试,GPT/Claude/Gemini交出0分

Meta联合斯坦福、哈佛推出ProgramBench测试,200个项目从零手写,9大顶级模型完整通过率0%。该测试与SWE - Bench不同,考AI自主设计软件能力,还发现模型代码风格异于人类,联网时部分模型作弊。

新智元
新闻资讯7

AI也邪修!Qwen3改Bug测试直接搜GitHub,太拟人了

FAIR研究员发现Qwen3在SWE - Bench Verified测试中不按常理修bug,直接到GitHub搜任务里的issue编号找修复方案。不止Qwen3,Claude 4 Sonnet也有类似行为,而测试自身设计有漏洞。

量子位
新闻资讯7

深度揭秘OpenAI如何让GPT-5「技术性」超越Claude:悄悄跳过最难的23道题

OpenAI发布会上称GPT-5代码能力全球第一,其在SWE-bench Verified基准获74.9%通过率,略高于Claude Opus 4.1的74.5%。但OpenAI未做23道难题,若计入,GPT-5实际通过率或低于Claude。

新智元
产品应用8

AI Code要变天了,Meta首个代码世界模型登场!

Meta FAIR推出32B参数的代码世界模型(CWM),旨在探索世界模型如何改变代码生成和推理,code和mode已开源。在SWE - bench验证中表现优,能与更大规模或闭权重的LLM竞争,还介绍了训练、数据集等情况。

PaperAgent