「自动化评测」共找到 1118 篇相关文章
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
换题还是第一！DM0.5横扫RoboColiseum四榜
本文报道原力灵机DM0.5在智元机器人发起的RoboColiseum具身模型评测中拿下四个单项第一，这已是该模型连续拿下六套不同类型公开评测的榜首，攻破了传统具身模型换题掉分的痛点，目前已开源落地产业场景。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
创新性自动化 AI 工具-终结者机器人
Terminator是最快的AI优先计算机操作SDK，用类似Playwright的API与Windows原生GUI应用交互，比基于视觉的方案更快更可靠，能操作后台应用。它重点支持Windows，部分支持macOS，暂不支持Linux。
不要建一千个 Agent：Ramp 如何用一个 Agent 搞定金融自动化
美国企业金融平台 Ramp 估值 320 亿美元，在 The Pragmatic Summit 分享 AI 实战经验。介绍了从“建一堆 Agent”转向“一个 Agent + 一千种技能”架构，Policy Agent 开发过程，定义“正确”标准，建内部 AI 基础设施及内部编码 Agent 情况。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
AI 当导演编剧和剪辑？FilMaster打开自动化电影创作新纪元
当前多数AI电影生成系统难达‘专业级’，香港大学推出FilMaster系统。它融合摄影语言与后期制作流程，分两阶段创作电影，能生成高质量作品，但高级后期制作技术未纳入。
Codex自改进Prompt：让AI自己把重复工作变成自动化
开发者Vaibhav更新的Codex自改进Prompt引发AI开发者群体讨论，被OpenAI联合创始人转发。完整版核心逻辑可拆解为8步，加了严格跳过规则。实测有反馈，也有优化建议和现存问题。
开源PDF表单自动化神器，一行命令，把静态 PDF 变成交互表单！
平时拿到的PDF表单大多无法直接填写，操作繁琐。GitHub上的开源工具CommonForms能自动识别PDF表单区域，一键生成可填写的交互式表单，基于深度学习模型FFDNet，功能强大且使用简单，还保障数据隐私。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。