「自动化评测」共找到 1070 篇相关文章
GPT-4o-Image仅完成28.9%任务！上海AI实验室等发布图像编辑新基准，360道人类专家严选难题
上海人工智能实验室等团队针对图像编辑AI提出问题，推出RISE任务及配套评测基准RISEBench。测试九个视觉编辑模型，结果显示当前模型完成复杂指令能力欠缺，闭源与开源差距大。
清华发布AutoSOTA：一周刷新105个顶会SOTA，推动AI科研回归创新本质
在AI研究中，研究者常为提升1%性能反复调参。清华与中关村学院联合发布AutoSOTA，实现端到端AI科研自动化，一周发现105个性能显著提升的SOTA模型，推动科研回归创新本质。
OpenClaw长期记忆：优秀管线与玄学效果
文章拆解 OpenClaw 记忆系统全链路，指出其虽设计理念好，但记忆效果不稳定。介绍 RDSClaw 记忆插件如何补强，该插件与原生系统协作，提升记忆稳定性，在 LoCoMo10 评测中成绩显著。
字节发布全球首个预测未来基准FutureX，Grok-4 拿下冠军
字节跳动发布全球首个实时未来预测基准测试FutureX，杜绝模型作弊。在25个模型评测中，Grok - 4夺冠。它从多网站构建问题，分四级难度。人类专家在部分等级仍领先AI 。
Lumina-DiMOO：多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。
大涨240%，Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中，大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案，构建M4DocBench评测，性能远超现有方案，还适用于多产业场景。
刚刚，Anthropic 发布首个美国 AI 经济指数报告。结论：越有钱的，用得越多！
Anthropic发布首份美国AI经济指数报告，发现人们将完整任务交给Claude比例大幅上升，各地AI使用受经济结构影响，GDP高的国家和地区使用率更高，且自动化使用占比上升。
你的 AI 助理一闭嘴就在「发呆」？上交大 ProAct：把 Agent 的空闲时间变成生产力
上海交通大学 APEX 实验室提出 ProAct 架构，能把对话空闲时间转化为主动准备机会。它有预测、筛选、交付三级流水线，经 ProActEval 评测效果佳，证明算力用对地方更重要，让 Agent 能提前为用户准备。
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
拆箱开源版Coze：Agent核心三件套大公开，48小时揽下9K Star
扣子两款子产品扣子开发平台和扣子罗盘近期开源，加上此前开源的开发框架Eino，覆盖了Agent开发全链路。其采用宽松的Apache 2.0开源协议，降低开发门槛，有望带动Agent在更多场景落地。