「自动化评测」共找到 1067 篇相关文章
MetaGPT 用户智能体发布，开启端到端自主软件测试新范式！
当前AI软件领域代码生成智能化发展快，但测试验收仍靠手动，效率低。MetaGPT推出用户智能体，研究团队发布RealDevWorld框架和AppEvalPilot实现端到端自动化评测，解决复杂软件质量评估难题。
Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察
具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。
第三个软件黄金时代来了！软件工程宗师、70 岁 UML 之父发声：AI 自动化被严重夸大，Dario Amodei 又越界了
软件工程宗师、UML 之父 Grady Booch 在播客分享对计算领域三次‘黄金时代’理解，直言 Anthropic CEO Dario Amodei‘软件工程将 12 个月内自动化’判断错误，强调工具虽变但软件工程难题未消失。
OpenAI两位首席最新采访信息量好大！终极目标是“自动化研究员”，招人并非寻找“最出圈”的人
OpenAI首席科学家Jakub Pachocki和首席研究官Mark Chen在采访中爆料，谈到GPT - 5将推理引入主流、实现自动化研究员目标、强化学习未到瓶颈等，还阐述用人标准、算力分配等问题。
SOTA大模型遇上加密数据评测：Qwen3未破10%，o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越，但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测，用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型，结果显示模型表现不佳，还分析了模型“犯难”原因。
Coding Agent 自主解题很强，但用户改一行代码就"翻车"？自所团队提出 SWE-Touch 揭示共享工作空间下的能力缺口
当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。
VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench，模拟真实导航场景。它构建自动化数据收集管线，依托InternVLA - N1训练评测。结果显示主动对话可提升表现，但当前方法在实例感知对齐等环节有短板。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
阿里开源Mobile-Agent-v3：多模态GUI智能体，实现跨平台自动化突破！
全新自动化时代，GUI智能体融入日常。阿里巴巴通义实验室推出GUI - Owl与Mobile - Agent - v3，实现跨平台自动化突破。文章解析其发展历程、技术创新，且项目开源，商业化潜力引关注。