「自动化评测」共找到 1069 篇相关文章
Anthropic让9个Claude Agent花5天做出比人类强4倍的对齐成果
Anthropic发表Automated Weak - to - Strong Researcher，用9个并行的Claude Opus Agent组成自动化研究团队，5天就把PGR从人类的0.23提升到0.97，成本约$18,000，证明AI自动化研究可行。
GPT-6发布，OpenAI说AGI时代来了
北京时间9月4日凌晨，OpenAI发布GPT - 6 Astra，虽发布过程狼狈，但该模型在多项评测中表现出色，如数学评测、电脑操控等，但编程类任务未全面领先，且网络安全方面部分功能被限制。
“零人”搞医学研究：清华AI智能体从灵感到论文全程自主
清华大学自动化系索津莉课题组发布全自主AI研究框架OpenLens AI，实现医学研究全链条自动化闭环，解决医疗信息学研究效率困局，将科研周期从“月级”缩至“小时级”，还在质量控制上设新标杆。
开源对机器人的价值，远超大模型时代的想象丨唐文斌深度对谈抱抱脸创始人
Dexmal联合创始人唐文斌与Hugging Face联合创始人Thomas Wolf指出当前机器人研究痛点，联合推出开放、统一、可复现的真实世界机器人评测平台RoboChallenge.ai，探讨开源对机器人的价值、评测平台搭建等问题。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
人大高瓴-华为诺亚：大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。
AI最尴尬的短板，中国科学院出手了
7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
AI浏览器必火！
AI浏览器是面向大众的AI Agent，能满足智能搜索与总结、自动化任务、多模态交互等需求。目前赛道竞争激烈，作者认为Perplexity Comet是最佳产品，能处理网页内容、自动化操作，AI浏览器有望成首个杀手级AI应用。