「自动化评测」共找到 1070 篇相关文章
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
半在线RL新范式UI-S1，使得GUI Agent既稳定又规划长远
现有AI训练方法在GUI自动化中各有弊端，本文提出半在线强化学习范式，训练出UI - S1 - 7B模型，性能提升显著，还提出新评估指标SOP，是迈向实用化AI智能体的重要一步。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
任意骨骼系统的模型都能驱动？AnimaX提出基于世界模型的3D动画生成新范式
传统3D动画制作依赖骨骼绑定与关键帧编辑，成本高。现有自动化方法有局限。北京航空航天大学团队提出AnimaX框架，结合视频扩散模型与骨骼动画优势，支持任意骨骼拓扑，生成动画质量高、速度快，泛化能力强。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
革命性突破！Windows-MCP 开源：AI 助手直接操控实体电脑，告别按键精灵！
在AI驱动的桌面自动化领域，传统工具部署复杂且性能受限。最近GitHub开源的Windows - MCP工具，能让AI助手与Windows UI原生交互，可进行点击、输入等操作，支持Windows 7 - 11，无需传统计算机视觉技术。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
9.1K Star 调参师集体失业！亚马逊造出机器学习“核弹”，3行代码打造高精度模型！
在机器学习普及的当下，自动化机器学习框架降低开发门槛。AutoGluon由AWS AI开发并开源，仅3行代码就能训练和部署高精度模型，支持多类型数据，有诸多亮点，已获9.1K Star。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。