新闻资讯7
ProgramBench:大模型重建代码库能力堪忧
AI工程化
AI 摘要
斯坦福NLP组:用ProgramBench测试主流大模型重建代码库能力,所有模型实际解决率0%,Claude Opus 4.7“几乎解决率”3%排第一,面对系统级重建,模型还有长路要走。
阅读原文 · AI工程化
大模型能复刻这些系统吗?ProgramBench给出了残酷答案
斯坦福NLP组发布ProgramBench,用200个完整代码库重建任务测试主流大模型,要求模型仅根据可执行文件还原如SQLite等项目完整代码,结果所有模型实际解决率为0%,说明模型更擅模仿代码表面结构。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Cursor:晒Claude退订截图送200美元!
Cursor员工Lauren公开喊话,让考虑切换到Cursor加Grok Bot的人发取消其他订阅截图,送一个月免费Ultra(每月200美元)。大量网友行动,但很多人私信石沉大海,有人吐槽处理慢。这或是Cursor借被SpaceX收购之势进攻Claude Code。
新智元
新闻资讯7
Fable 5.1泄露,Claude全球大宕机!
今日,Fable 5.1被曝开启灰度测试,部分Claude用户已免费试用。推测其可能很快全量推送且不涨价。此前Fable 5因性能强受限,开发者期待5.1版。同日Claude全球大宕机,Anthropic正冲刺万亿估值。
新智元
新闻资讯7
Anthropic营收反超OpenAI,IPO占优
IPO前夕,Anthropic最新年化营收达650亿美元,8个月翻超7倍,反超OpenAI。双方在资本市场竞争激烈,A社在起跑时间、财务、商业模式上占优,但OpenAI用户规模和产品生态占优,目前A社牌面更好。
量子位
开源动态8
Genspark开源免费AI办公套件GenOffice
Genspark团队开源AI办公套件GenOffice,全平台免费无广告。它界面类似微软Office,零成本上手,AI能直接编辑文档。虽处Alpha阶段,但可切换多种模型,还给出了配置第三方模型的方法。
CourseAI