「测试框架」共找到 3198 篇相关文章

算法论文7

做过十遍还要从头摸索?Agent 的记忆终于开始长成技能

MemTensor 等机构提出无需训练基础模型的 MSCE 框架,为 Agent 外部经验建‘晋升制度’,让经验成技能。该论文在 EvoAgentBench 与 LoCoMo 测试中结果更好,但在因果证明、模型依赖等方面有不足。

深度学习自然语言处理
开源动态8

上海AI实验室造出首个「通才」机器人大脑:看懂世界+空间推理+精准操控全拿下

上海人工智能实验室联合多家单位提出通用具身智能大脑框架VeBrain,能集成视觉感知、空间推理和机器人控制能力。它统一三类任务语言建模范式,有“机器人适配器”,配套VeBrain - 600k数据集,性能测试表现出色。

量子位
算法论文8

追剧不断网,可能背后有个AI在加班,故障诊断准度破91.79%

中兴通讯和中国移动团队针对电信网络故障诊断难题,提出 TN - RCA530 基准和 Auto - RCA 框架。测试多个大模型,初始准确率低,经框架优化后,Gemini - 2.5 - Pro 准确率从 58.99% 升至 91.79%,超人工水平。

机器之心
开源动态8

OpenAI深夜开源HealthBench,60个国家合力开发5000段真实对话

今天凌晨1点30,OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造,采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升,还介绍了其构建及评估等情况。

AIGC开放社区
算法论文8

九成以上模型止步白银段位,只有3个铂金!通用AI下半场评测标准来了

OpenAI研究员姚顺雨提出AI发展步入新阶段,下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架,剖析多模态大模型短板,推出五级评估体系和测试集,测试结果暴露模型弱点,引发社区积极反响。

机器之心
算法论文7

OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算

OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。

机器之心
产品应用8

用GPT-6 Astra就能直接控制机器人?可具身真机没那么简单

本文讨论GPT-6 Astra接入机器人控制取得亮眼单项成绩,但真机测试暴露不安全不稳定问题,介绍穹彻智能发布的开源RoboRSI多智能体自进化框架,解决具身智能落地核心痛点,探讨大模型时代具身智能行业的发展方向

机器之心
算法论文7

BeyondSWE:AI编程80分是真的强,还是考卷太简单?

前沿模型在SWE - bench Verified测试中得分超80%,但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测,规模是前者18倍,模型得分全跌破45%。还提出SearchSWE框架,结果显示搜索与编码能力融合待提升。

PaperAgent
推荐文章7

本地LLM万字救场指南来了!全网超全AI实测:4卡狂飙70B大模型

文章围绕本地大语言模型(LLM)展开,针对实用性和经济性问题,用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等,给出不同配置下性能指标及使用建议,还模拟真实场景测试。

新智元
推荐文章9

模型一模一样,Token 却相差 70 倍?三项实测揭开 AI 编程工具的成本黑洞

本文通过三项独立基准测试,证实相同AI模型下,不同AI编程智能体框架的Token消耗最高相差70倍,分析了成本差异的核心原因,为企业AI成本控制提供可落地的衡量标准。

AI前线