「评估框架」共找到 2259 篇相关文章
Meta-Harness：让AI 改进自己的Harness
斯坦福IRIS实验室Yoonho Lee团队推出开源框架Meta - Harness，让AI自我优化流程。它像给AI用的‘时间机器’，记录源代码、执行轨迹和评估分数。在任务上表现出色，但也面临耗时、数据爆炸等挑战。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
一个能思考、会记忆的AI导演诞生了！新加坡管理大学，香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。
人大高瓴孙浩团队发表Nature子刊封面文章：基于并行符号枚举的物理定律发现
中国人民大学高瓴人工智能学院孙浩教授团队在《自然 - 计算科学》发表封面论文。提出PSE框架解决符号回归瓶颈，通过公共子树复用和GPU并行提升评估效率，实验表现优于现有方法，也指出了局限性与未来方向。
年前看到最有深度的AI下半场Agents记忆机制综述
本文是一篇83页的基础智能体记忆机制综述，由27家机构联合发表。提出AI研究范式转变，记忆是填补理想与现实差距的关键。构建三维统一分类框架，介绍记忆操作、学习策略、评估体系、应用场景及未来方向。
MultiAgent架构实践：如何打造GitHub Stars 2.8k的ComfyUI-Copilot V2.0
ComfyUI是Stable Diffusion生态中可视化编程工具，但使用有难度。ComfyUI - Copilot V2.0基于多智能体协作框架构建，能实现对话开发、报错修复等功能，还介绍了其架构、技术栈及多智能体设计思路等。
用「进化+压力测试」自动生成的竞赛级编程题，各家大模型谁更hold住？
北京大学与通用人工智能研究院联合提出 UniCode 框架，构建进化式评测系统，能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试，展现高挑战性与强判别力，为代码能力评估开辟新路径。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
伯克利最强代码Agent屠榜SWE-Bench！用Scaling RL打造，配方全公开
开源软件工程模型DeepSWE横空出世，基于Qwen3 - 32B，仅用强化学习训练，以59%准确率刷新SOTA。它采用rLLM框架、R2E - Gym环境，用改良GRPO++算法，还介绍了评估策略及训练挑战的解决办法。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。