「GAIA 基准测试」共找到 2059 篇相关文章
Cloudflare 发布 Dynamic Workers 公开测试版：基于 Isolates 的沙箱环境执行 AI 智能体代码
Cloudflare 推出 Dynamic Worker 公开测试版，面向付费用户。它用 V8 Isolates 运行代码，启动快、内存效率高，基于 Code Mode 理念，用 TypeScript 接口定义 API，有多种防护策略，还发布配套库，已用于生产。
基于浏览器请求录制与AI代码生成的E2E接口自动化测试实践
文章以阿里云DataWorks为例，介绍通过浏览器录制插件捕获请求数据，结合AI编程工具生成接口封装与测试用例，解决复杂平台自动化测试难题，对比传统与新范式，剖析新范式优势、协作机制等。
面向「空天具身智能」，北航团队提出星座规划新基准丨NeurIPS'25
卫星星座成数字经济时代基础设施，但运行背后规划难题待解。北航刘偲教授团队提出首个大规模真实星座调度基准AEOS - Bench，训练内嵌时间约束的调度模型AEOS - Former，为‘AI星座规划’奠定新技术基准。
GPT-5通过“哥德尔测试”！独创性解决博士生都得花几天时间的开放数学问题
最新论文中，研究人员让GPT - 5挑战5个未解决的优化猜想，它解出3个，还对一题给出不同有效证明方案。测试题需博士水平研究者花几天完成，研究还“挑衅”了陶哲轩对大模型数学能力的印象。
ICML 2025 | 清华、上海AI Lab提出专家级医学基准MedXpertQA，看o3、R1哪家强
本文由清华和上海AI Lab学者撰写，提出专家级医学基准MedXpertQA。现有医学基准难度和临床相关性不足，而MedXpertQA极具挑战、临床相关性高，构建严格，评测显示前沿模型在医学领域提升空间大。
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率，华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。
华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能
华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。