「评测框架」共找到 2174 篇相关文章
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
谷歌开源移动端AI自动化测试神器
本文介绍谷歌最新开源的移动端AI自动化测试工具ARTEMIS，它可将自然语言指令转化为Android自动化操作，支持跨App测试、多模态定位，在AndroidWorld基准评测中取得99%+任务完成率，提供多场景使用方式，可一键快速上手。
一个Skill让DeepSeek V4 Pro超越Fable 5？热门插件被锤了
前两天J-Space凭夸张测试结果刷屏，宣称一份Skill接入Agent环境，能让V4 Pro在多基准大幅提升，部分成绩超Fable 5。但社区复测结果相反，作者未公开完整评测记录，还删质疑帖，引发公开打假。
对话 XYZ-Aquila丨Deep Search SOTA 背后 AI 到底怎么参与改进 AI？
近日，XYZ AI Lab发布两款面向Deep Search的Agent，在评测中领先。其采用AI4AI方法，让AI参与研发判断。团队接受采访，探讨AI4AI含义、与RSI关系、工作范式等，还分享了改进案例和未来方向。
Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板
Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。
李飞飞、Jim Fan和徐丹飞联合重磅论文：机器人灵巧手，可能走错了路
李飞飞等学者联合发表论文，分析当前触觉融合方案缺陷，提出 T - Rex 架构。它改变触觉输入方式，使用新编码方法和数据集，经三阶段训练，在 12 项任务评测中平均领先 30 个百分点，也指出了局限与未来方向。
GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5
在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。
华为版CUDA，全面开源了
华为宣布为昇腾AI GPU开源CANN软件工具包及Mind系列套件、工具链，让昇腾更好用。CANN类似华为版CUDA，目前到8.0版，支持多深度学习框架。同日，传奇GPU架构师创业公司浮出水面，挑战英伟达。
Multi-Agent记忆系统MIRIX：比RAG性能飙升35%，存储减少99.9%
现有AI Agent记忆方案有局限，MIRIX作为模块化多智能体记忆系统应运而生。它由六种记忆类型和多智能体框架组成，支持多种检索功能。在多模态和单模态测试中表现优异，为记忆增强型LLM智能体设新标准。
12.1万高难度数学题让模型性能大涨，覆盖FIMO/Putnam等顶级赛事难度，腾讯上海交大出品
腾讯AI Lab与上海交大团队联合推出首个基于自然语言的数学定理证明框架与数据集DeepTheorem。12.1万道高难度数学“特训题”让模型定理证明性能大涨，7B模型性能比肩或超越现有开源和商业模型。