「自动化评测」共找到 1069 篇相关文章
通义实验室正式开源 Mobile-Agent v3.5 及新一代多平台 GUI Agent 基座模型 GUI-Owl-1.5
通义实验室正式开源 Mobile - Agent v3.5 及新一代多平台 GUI Agent 基座模型 GUI - Owl - 1.5。该模型有多档参数可选，分 Instruct 和 Thinking 版，支持多平台。它解决了高质量数据难搞定等痛点，评测表现良好。
大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力
首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
当世界模型不止「视频」该如何评估？WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著，但评估存在局限。WorldBench 团队构建 WorldLens 评测框架，从五个维度评测开源世界模型，其评测 EvalKit 已公开，可暴露模型能力边界与失效模式。
Agent记忆赛道大洗牌！LoCoMo-Refined重磅发布，主流记忆框架迎来核心检验
南京大学与上海人工智能实验室联合推出 LoCoMo-Refined，这是严苛的 Agent 记忆评测基准。它指出当前记忆评测基准有两大漏洞，在其标准下主流记忆框架得分普降，且相关数据集和评测脚本已开源。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
一夜200万阅读，OpenAI神同步！这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文，一夜阅读近200万，同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE，发现主流大模型在科学发现上短板明显。
刚刚，Anthropic 发布官方「龙虾」，
Anthropic 发布 Computer Use、/schedule 和 Claude Code Desktop。Computer Use 让 Claude 控制 Mac，结合 Dispatch 可远程操控；/schedule 能创建云端定时任务。Claude 能力不断进化，正成为自动化 agent。
RPA要没了
Codex更新Record & Replay功能，虽与RPA表面都是录制操作、重复执行，但底层逻辑不同。RPA是指令式，有诸多缺陷；Codex是目标式，是RPA替代品，还构建了企业自动化体系。
AI 编程正在终结框架时代
作者认为自动化编程让人们摆脱繁重体力劳动，可专注重要创作。框架解决简化、自动化和劳动力成本问题，但带来诸多弊端。真正的软件工程已回归，应摆脱无用复杂性，自主构建产品。