新闻资讯7
GPT - 5编程测评:实际成绩比Claude高一倍
量子位
AI 摘要
Scale AI的SWE - BENCH PRO测试,‘御三家’表面解决率低。前OpenAI研究员称GPT - 5已提交任务准确率比Claude高一倍。此基准题新且难,当前模型解决商业问题能力欠佳。
阅读原文 · 量子位
GPT-5编程测评大反转!表面不及格,实际63.1%的任务没交卷,全算上成绩比Claude高一倍
Scale AI的新软件工程基准SWE - BENCH PRO测试中,‘御三家’表面解决率低。深入看,GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂,能真实考验模型能力,当前模型解决商业问题能力有限。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
7人5个月 Anthropic造出Git替代品
Anthropic因AI编程规模暴涨,原有Git架构无法满足超大型单体代码仓库的需求,7人工程师团队借助Claude,耗时5个月从零开发出内部源代码控制系统Scion及配套工具,并完成全部迁移,本文分享了整套设计思路与工程实践。
机器之心
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心
新闻资讯8
Anthropic封禁1140万个账号
本文爆料Anthropic风控动态,上半年封禁1140万疑似数据蒸馏账号,申诉胜诉率仅10%,大量正常用户被误杀,同时对比了中外大模型的使用体验差距。
探索AGI
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程