搜索：编程Agent评测

「编程Agent评测」共找到 4102 篇相关文章

同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？

编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。

今年 8 月发布的 GPT 5 未达成 AGI，Gemini 3 能力提升明显。谷歌将其塞进 Search 的 AI Mode，AI 普惠意义超能力升级。开发者方面，它是主力型号，编程能力跃升，还加强 Agent 能力并推出新工具 Antigravity。

秘塔AI推出Agentic Search，是“边想边搜，边搜边做”新搜索方式，能自主完成多步工具调用。作者测试其为AI笔记应用策划预热活动等场景，还测市场分析、编程学习、新媒体运营场景，虽有不足但未来可期。

Anthropic工程师Thariq Shihipar提出，最强大的Agent工具是Bash和文件系统，基于Unix思想构建Agent会超传统API工具。还介绍了上下文工程、Agent Loop本质等内容，认为这或是Agent终极形态。

飞书新品发布会对AI助手aliy和飞书妙搭全面迭代，向Agent原生平台迈进。飞书aily成常驻联系人的Agent，妙搭底层升级为Code Agent，还有多维表格Agent等新功能，提升工作效率。

小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。

过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。

当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。

软件开发正从面向人类转向面向Agent。作者将newtype内容生产系统CLI化，供Agent使用。当前各种工具CLI化，Skill生态爆发，技术栈含CLI、MCP、Skills、Framework四层。

文章介绍Agent框架的三个主流协议。MCP解决AI Agent和外部工具交互问题，获三大巨头支持；A2A促进独立Agent间通信，但MAS系统不成熟致其未普及；AG-UI解决AI Agent与前端应用交互标准化问题。