算法论文8
新测试:一线AI模型软件工程能力全灭
机器之心
AI 摘要
SWE - Bench作者新作ProgramBench测试AI软件工程能力,一线模型全0%完成率。AI擅局部代码生成,缺全局规划能力。投资人回应争议,认为其能推动模型向高层次智能逼近。
阅读原文 · 机器之心
0%完成率!Claude、GPT、Gemini 全灭,SWE-Bench作者新作把AI圈干沉默了
SWE - Bench创建者推出新benchmark ProgramBench,测试AI从零构建软件系统能力。结果一线模型完成率0%,暴露AI擅长局部代码生成,缺全局系统规划能力,引发对其评估方式的讨论。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章8
AI Coding催生柔性软件新形态
本文为王博在《AI原生软件研发成熟度模型AISMM 2026》白皮书发布之际撰写,探讨AI Agent介入后软件形态、研发流程的变革,提出柔性软件概念与传统软件柔性化路径,为企业AI原生研发提供参考。
AI科技大本营
产品应用9
阶跃发布首款Agent手机STEPX Neo
本文作者实测体验阶跃终端推出的首款大模型原生Agent手机STEPX Neo,介绍了产品设计、原生Agent系统能力、创客开发生态与系统级安全方案,公布了产品定价与用户福利。
量子位
新闻资讯8
Kimi K3 DeepRSI夺国产第一
本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准,测试大模型递归自我改进能力,设置48小时无网络自主科研挑战,最终Kimi K3拿下国产第一、开源第一,成果引发行业关注。
量子位
算法论文8
Token压缩率飙升60% 大模型分词革新
当前大模型效率优化多聚焦降低单位Token计算存储开销,本文解读arXiv新预印论文,针对传统BPE分词的固有局限,提出CNF-MCE分词框架,可大幅提升Token压缩率,开辟大模型效率优化新路径。
InfoQ