「评估框架」共找到 2212 篇相关文章
12小时登顶OpenAI MLE-bench！上海AI Lab开源算法进化框架MLEvolve
上海AI实验室开源算法进化框架MLEvolve，12小时登顶OpenAI MLE - bench榜单第一。它是自进化机器学习系统，在75道Kaggle竞赛题上奖牌率达61.33%，为AI自主算法设计提供新方案。
RL缩放王炸！DeepSWE开源AI Agent登顶榜首，训练方法、权重大公开
今天凌晨，Together.ai联合Agentica开源AI Agent框架DeepSWE，基于Qwen3 - 32B模型用强化学习训练。所有内容开源，测试中性能超所有开源Agent框架，证明强化学习训练潜力。
编程能力开源SOTA，网络安全提升2倍！智谱发布GLM-5.3
智谱发布GLM-5.3，743B参数模型，编程能力达开源SOTA。网络安全能力涌现，基准得分是GLM-5.2两倍多。全部提升来自后训练缩放，还自研Z.ai Code Bench评估，安全评估加固后权重将开源。
刚刚，OpenClaw登顶GitHub软件星标历史第一！已超越Linux
仅两月，本地AI框架OpenClaw击败Linux，登顶GitHub星标第一。它是开源本地运行的AI Agent框架，能接入通讯工具，虽引发安全危机和限制，却热度不减，反映开源社区趋势变化。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人
2025年成AI智能体元年，国务院提出目标，市场规模爆发增长。但企业部署面临“效能黑箱”，智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现公开征集起草单位和个人。
Data Agent 落地挑战：忽略技术框架、语义能力和运营体系，投入可能打水漂
Data Agent 看似易上手，落地却充满挑战。腾讯数据工程专家虎兴龙指出，90% 难点源于软件工程，统一语义层建设是关键。企业若忽略相关要点，投入或打水漂，掌握关键要素可提升数据智能化效率。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
解决Agent幻觉：HaluMem精准定位记忆系统的“说谎”环节！
近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。
从“造工具”到“用仓库”：RepoMaster，驾驭GitHub解决复杂任务的智能体大师！
RepoMaster旨在让AI智能体解决复杂开发任务。它能利用深度搜索定位GitHub仓库，其核心框架分三步闭环解决智能体‘看不懂、用不来’难题。实验显示它性能超主流框架，效率高，设计科学。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。