算法论文8
上交大基准:AI编程完整项目通过率仅27%
量子位
AI 摘要
上交大等校联合发布ProjDevBench评估AI编程智能体。结果表明,六种主流智能体总体提交AC率27.38%,从零构建性能差,还存在规范理解、边界处理等短板,为改进提供标准。
阅读原文 · 量子位
AI编程真面目:完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench,评估AI编程智能体端到端项目开发能力。结果显示,六种主流智能体总体提交AC率仅27.38%,从零构建任务中性能大幅下滑,还揭示了智能体多方面短板。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
J-Space让V4 Pro超Fable 5?测试结果翻车!
前两天J-Space凭夸张测试结果刷屏,宣称一份Skill接入Agent环境,能让V4 Pro在多基准大幅提升,部分成绩超Fable 5。但社区复测结果相反,作者未公开完整评测记录,还删质疑帖,引发公开打假。
机器之心
开源动态7
58.4k Star的MemPalace:AI编程记忆神器
AI编程中,上下文压缩后易丢失关键信息。MemPalace将对话和资料按原文存本地,按项目和主题精准找回。本文讲清其存储与检索原理、使用场景、注意事项及安装建议。
小华同学ai
推荐文章8
吴恩达:发布AI工程技能地图
吴恩达团队综合整理AI工程技能地图,助开发者确定学习方向和雇主招聘。四项重要技能为构建和部署AI应用、软件工程基础、使用编程智能体、塑造构建,背后需持续学习心态。
DeeplearningAI
新闻资讯7
Devin开发商估值反超Cursor
AI编程赛道竞争激烈。Devin开发商Cognition年化收入逼近10亿美元,新融资估值目标400亿美元,将反超Cursor。其收入倍数收窄,有真实增长,新技术能3秒配好开发环境,产品走智能体路线。
量子位