「自动化评测」共找到 1068 篇相关文章
全球首个从语言出发构建的智能体：MoonBit Pilot 如何推动自动化软件交付？
MoonBit Pilot是从语言底层构建的代码智能体系统，将AI Agent从“助手”推向“合作者”。它比Cursor、Codex更快更稳定，能云端异步执行，有Sub Agent架构和分段编译机制，或成未来软件工业新标准。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
ICLR 2026 oral | AI代码真能进生产环境？SwingArena：从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。
ICLR 2026｜多模态大模型真的理解情绪吗？MME-Emotion给出了系统答案
多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。
开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。
AAAI 2026｜视频大语言模型到底可不可信？23款主流模型全面测评来了
合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
算法1年翻倍，芯片2年翻倍？重磅实锤：AI正在自我加速，拦不住了
NBER论文证明AI研发自我加速反馈环强度远超其他科技领域，芯片效率每2年、算法效率每1年翻倍。部分自动化就能引爆反馈环，全行业13%自动化率或软硬件17%自动化率可触发奇点，6年内AI可能实现自我迭代。
nnU-Net：医学图像分割的自适应自动化框架
德国癌症研究中心团队提出 nnU-Net 自配置医学图像分割框架，能根据数据集特征自动推导预处理、网络拓扑等策略获稳健分割基线。文章介绍其原理、优缺点、评测案例及 Python 代码实现。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。