「编程Agent评测」共找到 3947 篇相关文章
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
Coding Agent 自主解题很强，但用户改一行代码就"翻车"？自所团队提出 SWE-Touch 揭示共享工作空间下的能力缺口
当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。
To Agent, not Human
软件开发正从面向人类转向面向Agent。作者将newtype内容生产系统CLI化，供Agent使用。当前各种工具CLI化，Skill生态爆发，技术栈含CLI、MCP、Skills、Framework四层。
Agent 框架协议“三部曲”：MCP、A2A、AG-UI
文章介绍Agent框架的三个主流协议。MCP解决AI Agent和外部工具交互问题，获三大巨头支持；A2A促进独立Agent间通信，但MAS系统不成熟致其未普及；AG-UI解决AI Agent与前端应用交互标准化问题。
让Agent真正“行动”起来，Agent Skill开发者大赛正式启动！
人工智能下半场关键词是“行动”，Agent Skill成关键桥梁。Agent Skill开发者大赛今日启动，由AIGC开放社区与算泥社区联合主办，聚焦真实任务执行，设双赛道，官方提供支持，有丰厚奖励。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
先解行为，再训Agent：CMU开源首份Agentic Search日志数据，把Agent拆开给你看
CMU团队基于DeepResearchGym平台，从半年真实流量中整理出数据，构建并在Hugging Face开源首个Agentic Search行为日志数据集。还提出三层分析框架，刻画智能体搜索行为，为研究和系统设计提供基础与信号。
重生之我在AI时代当老板：让一群Agent互相PUA
MiniMax推出新Agent Mavis，可组建团队完成任务。其Agent Team分工明确，能解决单Agent在长程任务中的痛点，还将开源。此外，TokenPlan和Agent Plan合并，性价比提升。