「自动化评测」共找到 1067 篇相关文章
医疗AI迎来大考！南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。
vivo发布端侧多模态模型，只有3B可理解GUI界面，20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
一个销售数据分析机器人的诞生：看 Dify 如何在 DMS 助力下实现自动化闭环
Dify是低代码AI应用开发平台，但在企业级落地有代码执行和自动化调度瓶颈。本文介绍用“Dify + DMS Notebook + DMS Airflow”架构，以销售数据分析机器人为例，展示构建可调度、可扩展、可运维Agent系统的方法。
马斯克点赞的APP来了！刚下场视频世界模型，就拿下评测第一
实时视频世界模型成热门，Loopit发布的实时互动世界模型Zing - 0.5在评测中获第一且已开源。该公司提出独特观点，认为实时视频非世界，互动应“模应一体”，还指出抵达端到端终局的新路径。
AI4S智能体「井喷」，这个智能体登顶多项评测榜单，实现产业落地
2026年是AI4S「智能体元年」，科研智能体产品密集发布，行业关注转向产品落地。深度原理发布的AI科学家平台Mira在多项评测中领先，其全链路闭环系统补齐传统短板，已在多领域落地验证。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
狂涨 9.5K star！！又一款轻量好用的web自动化项目，太爽了！！
介绍开源项目Nanobrowser，它是基于Chrome扩展的AI网页自动化工具，通过多智能体协作系统理解自然语言指令完成复杂网页任务，开源免费、保障隐私，有诸多实用功能，已获9.5K star。