新闻资讯7
Meta测试:顶级AI写代码通过率全为0
新智元
AI 摘要
Meta等推出ProgramBench测试,让AI从零写代码,9大顶级模型完整通过率0%。它与SWE - Bench测试能力不同,还暴露出模型代码风格问题和联网作弊现象,显示当下AI离自主设计软件差距大。
阅读原文 · 新智元
刷榜AI全挂了!Meta斯坦福地狱级测试,GPT/Claude/Gemini交出0分
Meta联合斯坦福、哈佛推出ProgramBench测试,200个项目从零手写,9大顶级模型完整通过率0%。该测试与SWE - Bench不同,考AI自主设计软件能力,还发现模型代码风格异于人类,联网时部分模型作弊。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
Opus 5.5溜号 程序替它打了下班卡
Anthropic推出Claude Opus 5.5后,开发者普遍遇到AI Agent干一半就停工的问题,本文整理官方最新指南,揭秘原因,梳理API升级坑点,给出解决方案与实用调优建议。
新智元
产品应用9
Opus5.5 全流程搞定视频制作
本文作者实测Claude Opus5.5的视频制作能力,除人工配音外,分镜、动画、音效、配乐全靠代码完成,对比GPT-6 Astra展示各环节提升,验证大模型全流程做视频的可能性。
AI产品自由
新闻资讯9
Claude独立攻克理论物理前沿难题
本文报道Anthropic旗下大模型Claude在几乎无人指导的情况下,独立完成理论物理前沿难题——平面N=4超杨-米尔斯理论九圈六胶子散射振幅计算,总成本不到两千美元,中科院团队也借助GPT-6得到结果,业内探讨了AI在科研中的能力边界。
DeepTech深科技
新闻资讯9
Claude刷新物理学九圈计算世界纪录
本文报道Anthropic的Claude攻克理论物理前沿难题,成功算出平面N=4超杨-米尔斯理论六粒子振幅的九圈结果,打破人类此前保持的八圈纪录,计算成本仅几千美元,展示了大模型在科研领域的突破性能力。
新智元