「代码能力评测」共找到 4810 篇相关文章
大模型能复刻这些系统吗？ProgramBench给出了残酷答案
斯坦福NLP组发布ProgramBench，用200个完整代码库重建任务测试主流大模型，要求模型仅根据可执行文件还原如SQLite等项目完整代码，结果所有模型实际解决率为0%，说明模型更擅模仿代码表面结构。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
记一次cursor编程代码修复的过程
作者分享用Cursor编程时遇到代码bug的修复过程。Cursor写的代码运行报错，自我修复及借助千问、DeepSeek都无果，最后靠谷歌找到解决办法，还提醒要降低对Cursor的依赖。
教程 | 如何做出 X 上爆火的 AI 蓝图动画
作者受X上爆火的Midjourney风格代码启发，分享恐龙主题短片制作方法。介绍风格代码功能，还讲了控制画面配色技巧，最后给出复杂动画prompt示例，推荐找风格代码的作者和网站。
所谓“氛围编程”，不过是“技术债”的新马甲
本文编译自 Steve Krouse 演讲与博客，指出‘氛围编程’代码即遗留代码、‘技术债’，编程核心是理论构建。还认为工具优于智能体，代码是描述软件的正确媒介，人类大脑在编程中始终是核心。
氛围编程行不通！CTO们集体炮轰AI编程：不是失业，而是失控
CTO们认为氛围编程是灾难，如代码上线后出现系统崩溃、用户权限漏洞等问题。Augment Code的Chris Kelly演讲指出，AI写代码有局限，软件工程师要做决策，还给出写让AI接手代码的建议。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
为什么我觉得AGI并不会马上到来
作者Dwarkesh Patel认为AGI不会马上到来。当前大语言模型缺乏持续学习能力，难以替代人类工作；计算机操作能力受训练周期、数据等限制；推理能力虽有突破，但仍需时间发展。作者给出了具体预测时间。
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。