开源动态8
微软:Agent革新代码评测基准
量子位
AI 摘要
微软发布SWE - bench - Live代码修复评测基准,引入新Issue,用REPOLAUNCH实现环境自动化构建与更新。实验显示传统基准存在过拟合,SWE - bench - Live评估更准确,已在GitHub和HuggingFace开放。
阅读原文 · 量子位
Agent全自动搭建代码运行环境,实时更新解决评测过拟合/数据污染问题|微软
长期以来主流代码修复评测基准SWE - bench问题多,制约AI模型能力展现。微软发布SWE - bench - Live,引入新Issue,实现环境自动化构建与更新,打破传统局限,还揭示传统基准过拟合问题。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章8
Nick Jennings:智能体AI走向智能社会
8月18日,IJCAI 2026大会上,研究卓越奖得主Nick Jennings回顾智能体发展历程,指出当下智能体AI火热,它并非新概念,而是经数十年积累。还分享经验,展望从智能体到智能社会的未来。
AI科技评论
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
开源动态7
27.2k Star FastMCP:让MCP工程化
文章介绍了27.2k Star的FastMCP,它是Python MCP应用框架,能让普通Python函数成为MCP工具。讲了其适合场景、省事原因及上线安全边界,还给出了适用人群和注意点。
小华同学ai
推荐文章7
董舒:AI数字员工催生OPC一人公司
OpenHex董舒认为AI最大价值是替人出面干活,提出数字员工概念。他指出判断力密度高的岗位易被AI取代,中国服务业有发展机会。还辨析数字员工类型,介绍其平台OPS Agent,最后分享了数字员工相关Q&A。
AI科技大本营