「自动化评测」共找到 1118 篇相关文章
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
狂涨 9.5K star！！又一款轻量好用的web自动化项目，太爽了！！
介绍开源项目Nanobrowser，它是基于Chrome扩展的AI网页自动化工具，通过多智能体协作系统理解自然语言指令完成复杂网页任务，开源免费、保障隐私，有诸多实用功能，已获9.5K star。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
4 个月 3000 万美金 ARR，做 AI 评测榜单的 LMArena 为何值 17 亿美金
AI评测产品LMArena半年前种子轮获1亿美金，现完成超1.5亿美金A轮融资，估值达17亿美金。其核心产品Chatbot Arena可对比AI模型回答并构建榜单，公布的数据或解答了其估值高的疑问。
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境，ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件，构建科研任务集合，评估智能体在科学任务上的表现，发现现有模型在科研工作流中远未成熟。
AI操作有了“紧急刹车”！通义&自动化所AI决策诊断模型，GUI智能体纠错正确率SOTA
阿里通义实验室与中科院自动化所推出GUI - Critic - R1模型，能在GUI智能体操作执行前诊断决策，避免错误。介绍了其动机、方法、数据集及实验，证明该模型在生成判断和提建议方面有效。
预测误差仅0.26mm，中科院自动化所×灵宝CASBOT团队让机器人提前“知道你要干嘛”
中科院自动化所与灵宝CASBOT提出DTRT方法获ICRA 2025录用。该方法利用Transformer和博弈论，将人类动态纳入长期预测，实验显示其预测精度和协作表现显著优于现有技术，有巨大应用潜力。
MoE不够看了，腾讯推出MoT：2B具身模型22项评测16项最佳
腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。
一个省略号提示+强化学习搞定大模型“过度思考”，中科院自动化所新方法：从强制推理到自主选择
中国科学院自动化研究所联合鹏城实验室提出AutoThink方法，用省略号提示和多阶段强化学习，让推理大模型依题目难度自主切换思考模式，解决过度思考问题，在多数据集验证有效。