「评测框架」共找到 2223 篇相关文章
Codeforces难题不够刷？谢赛宁等造了个AI出题机，能生成原创编程题
LiveCodeBench Pro团队推出AutoCode框架，利用LLM自动化竞赛编程问题创建与评估。该框架结合验证器 - 生成器 - 检查器框架与双重验证协议，在测试用例生成上可靠性佳，还能生成新问题，同时揭示了LLM在创作上的优劣势。
从 Langchain 到 Spring AI，我们究竟需要怎么样一个企业级 AI 开发基础设施？
文章指出AI Agent应用开发方式演变快，企业构建AI Agent体系面临挑战。介绍了AI Agent应用架构变化及趋势，如AI应用平台低代码效应、框架与平台双轨并行等，还总结了四类AI Agent框架及企业级框架平台核心考量。
AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考
本文针对AI能否自主操作科研软件完成真实科研任务的问题，介绍了清华大学牵头多机构推出的OSWorld-Science，这是面向真实科研场景的智能体评测基准，包含146项真实科研任务，评测了12个主流模型，曝光了当前智能体的能力短板，为领域研究提供了统一评测基础。
Swift 跨平台框架 Skip 现已完全开源
Skip 是用 Swift/SwiftUI 代码库创建 iOS 和 Android 应用的方案，经三年开发后团队将其完全开源，此前为付费方案。开源既是因开发者希望免费获工具，也为保证工具持久性，它能实现原生体验。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
首个基于 MCP 架构的低代码 RAG 框架
检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。
AI 智能体实践评估：基准、框架与经验总结
文章为将 AI 智能体从原型落地到生产环境的团队提供实用评估框架。指出传统评估不适用于智能体，介绍评估工具，阐述五大评估支柱，还给出基于 Claude 和 LangChain 的评估示例及实践经验。
Agent 框架热潮褪去，大模型开发已经进入“生死局”？
蚂蚁开源发布《2025 ⼤模型开源开发⽣态全景与趋势》报告，涵盖 19 个技术领域 135 个项目，解读七大趋势。当下大模型开发生态如黑客松，项目兴衰快速，AI Search 式微、AI Coding 火热，三大技术领域也有变化。
ThinkChain：一个让Claude边调用工具边思考的开源框架
ThinkChain是展示Claude高级能力的Python项目，其核心创新是将工具执行结果注入Claude思维流，改变AI与工具交互方式。它支持零配置启动，有丰富工具集，还具备交互式命令等特性。