「编程评测」共找到 1657 篇相关文章
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父,后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行,有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环,且继续保持开源。
代码Agent的苦涩教训!首次拆解上下文检索,直指自动化软件瓶颈
ContextBench首次从「过程」评测代码智能体,揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务,由专家标注「黄金上下文」,用多指标评估。研究显示,复杂架构未必效果好,模型重召回轻精确等。
为什么 Agent Memory需要 AML:看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分,近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节,还分析了首期榜单,指出其重构评估变量的价值。
用AI,写代码只会更慢!但一定更「快乐」
METR研究实测发现,GPT等AI编程工具让顶尖程序员写代码平均慢19%,效率不升反降。开发者本预计提效24%,体验后仍觉快20%。研究还分析变慢原因,提醒勿高估AI编程能力。
刚刚,GPT-5.4 发布,百万上下文、最强全能模型
OpenAI发布GPT - 5.4,集推理、编程等能力于一体,支持百万级上下文窗口。有三个版本,功能全面升级,如支持中途打断、电脑操作、视觉能力提升等,还更省token、少幻觉,安全机制完善,价格有调整。
AI用3年时光,来了解你!首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试,构建合成人生,设计评测任务,实验发现简单方法在检索上更有效,记忆系统应还原信息。
SpaceX 600 亿美元收购 Cursor!马斯克不补课,直接买课代表
据外媒消息,SpaceX 斥资 600 亿美元收购 AI 编程初创公司 Cursor,交易将以股票完成,预计 2026 年第三季度完成。这是马斯克对 AI 编程战场的“补位”,因 xAI 在该领域落后,而 Cursor 有开发者入口价值且缺算力。
“代码 + 编译器”要消失了?马斯克在 xAI 全员会上放话:到今年年底,AI 或将直接生成二进制
xAI 近期出现离职潮,马斯克公开全员大会视频回应。他表示离职是阶段适配问题,还预测到 2026 年底 AI 或直接生成二进制,跳过编程。此外介绍了 xAI 新架构及各团队进展,强调基础设施重要性,甚至提及将算力扩展到月球。
代码榜刷满分,AI科研却撞墙?140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务,评测前沿模型科研能力。虽模型工程执行强,但科学发现能力弱,当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。
3.3k星星!用AI做前端动效最好的开源项目,给AI写前端代码注入灵魂
现在AI编程做的前端效果不佳,页面不生动、特效生硬。而Text-to-Lottie开源框架可通过AI编程Agent快速生成生产级Lottie动画,支持多种输入,有实时预览与编辑功能,还能集成多平台,简化动效开发。