「三层评测框架」共找到 2306 篇相关文章
ICLR 2026 oral | AI代码真能进生产环境？SwingArena：从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。
开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
Codeforces难题不够刷？谢赛宁等造了个AI出题机，能生成原创编程题
LiveCodeBench Pro团队推出AutoCode框架，利用LLM自动化竞赛编程问题创建与评估。该框架结合验证器 - 生成器 - 检查器框架与双重验证协议，在测试用例生成上可靠性佳，还能生成新问题，同时揭示了LLM在创作上的优劣势。
从 Langchain 到 Spring AI，我们究竟需要怎么样一个企业级 AI 开发基础设施？
文章指出AI Agent应用开发方式演变快，企业构建AI Agent体系面临挑战。介绍了AI Agent应用架构变化及趋势，如AI应用平台低代码效应、框架与平台双轨并行等，还总结了四类AI Agent框架及企业级框架平台核心考量。
AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考
本文针对AI能否自主操作科研软件完成真实科研任务的问题，介绍了清华大学牵头多机构推出的OSWorld-Science，这是面向真实科研场景的智能体评测基准，包含146项真实科研任务，评测了12个主流模型，曝光了当前智能体的能力短板，为领域研究提供了统一评测基础。
Swift 跨平台框架 Skip 现已完全开源
Skip 是用 Swift/SwiftUI 代码库创建 iOS 和 Android 应用的方案，经三年开发后团队将其完全开源，此前为付费方案。开源既是因开发者希望免费获工具，也为保证工具持久性，它能实现原生体验。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
首个基于 MCP 架构的低代码 RAG 框架
检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。