搜索：学术基准测试

「学术基准测试」共找到 2189 篇相关文章

智源新出OmniGen2开源神器，一键解锁AI绘图「哆啦 A 梦」任意门

2024年9月智源研究院发布统一图像生成模型OmniGen，获社区好评。近期OmniGen升级为OmniGen2，增强多方面能力且全面开源。它采用新架构与策略，有反思机制，玩法丰富，还推出新基准优化部署。

MetaAgentX团队推出Open CaptchaWorld平台，用于测试Agent解验证码能力。实测SOTA多模态模型成功率低，如GPT - 4o也被难住。该平台特点多样，揭示了当前Agent短板及模型设计新方向。

当AI智能体走向真实应用，前沿风险藏于复杂长尾场景，难以靠人工覆盖。创智、复旦、牛津联合发布AutoControl Arena框架，自动合成可执行测试环境，还构建X - BENCH验证，已在GitHub开源。

昨夜，AI编程工具Cursor发布Agent云功能更新，解决本地运行占资源问题。可本地云端无缝切换，10分钟搭云端开发环境，有独立云子Agent隔离任务，iOS测试版上线，获用户认可。

文章提出 AgentVista 评测基准，含 209 道任务，横跨 7 大领域 25 个子方向。评测 14 个主流模型，最强的 Gemini - 3 - Pro 准确率仅 27.27%，揭示多模态 Agent 在视觉理解、工具调用等方面挑战大。

OpenAI推出由GPT - 5驱动的自主安全研究智能体Aardvark，用于软件安全保障。它能持续分析代码仓库，识别并修复漏洞，目前在内部及合作伙伴代码库效果良好，正处私有测试阶段。

Ox Alpha 匿名模型上线 OpenRouter 后表现亮眼，消耗大量 tokens 并终结 DeepSeek 霸榜纪录。官方揭晓其为智谱 GLM - 5.3 Flash，价格低、能力强，经多场景测试，多模态理解等维度达顶尖水平。

周六凌晨，OpenAI 公告计划在 ChatGPT 加广告，测试将在美国率先启动。此前已上线低价订阅版 ChatGPT Go。此外，马斯克与 OpenAI 官司相关文件解封，案件将进入审判。

现有Mobile/APP Agent依赖动作级奖励，难应对变化环境。淘天集团团队提出Mobile-R1框架，采用三阶段训练，结合任务级奖励，实验显示其表现超基准，团队还计划开源资源。

北大校友、前OpenAI华人VP翁荔发布万字长文《Why We Think》，围绕“测试时计算”和“思维链”，探讨提升模型性能的方法，涉及心理学类比、基于Token的思考、分支与编辑等多方面内容。