新闻资讯7

AI智能体基准测试：问题丛生待解决

机器之心2025-07-15

AI 摘要

现有AI智能体基准测试问题大，如模拟环境脆弱、缺乏标准答案。研究提出有效性判据和ABC清单，应用发现主流基准测试多有投机捷径、结果不真实、缺乏透明度等问题。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

J-Space让V4 Pro超Fable 5？测试结果翻车！

前两天J-Space凭夸张测试结果刷屏，宣称一份Skill接入Agent环境，能让V4 Pro在多基准大幅提升，部分成绩超Fable 5。但社区复测结果相反，作者未公开完整评测记录，还删质疑帖，引发公开打假。

Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。

AgentSociety²是清华团队推出的社会科学研究新工具，让AI扮演研究助手和实验参与者角色。它打通研究断点，实现从「社会模拟」到「可执行社会科学」的转变，还构建工作流、创新实验环境和智能体设计。

不到一年，OpenAI就把主力AI从ChatGPT换成AI智能体Codex。到2026年6月，Codex吃下全公司每周99.8%的输出token。各部门都将其作为头号工具，它还成通用工作流智能体。