「结构化评估」共找到 1780 篇相关文章
Anthropic冲塔ASI自进化,要做全球操作系统!Claude OS一刀砍向6.4万亿帝国
Anthropic野心勃勃,开启ASI自进化,目标打造全宇宙最强AI操作系统Claude OS,欲抢夺苹果微软6.4万亿市值。Claude可控制电脑,多项功能上新,还推出自动模式,且营收增长快、客户结构优化,离ASI越来越近。
OpenClaw代码越改越崩?新研究EvoClaw揭示:Agents持续开发成功率仅13.37%
USC邓港大等联合发布评估基准EvoClaw,揭示AI在持续开发场景下表现不佳,成功率仅13.37%。研究还指出当前评测易高估AI能力,提出DeepCommit重构演进历史,分析各模型在持续演进中的局限与问题。
OpenClaw 火了半年,Agent 执行层依然是工程空白
当前主流 Agent 工具链执行层基本空白,Violoop 是少数在执行层做系统化设计的项目。它是桌边触屏硬件,获取三类运行时数据,具备感知 - 判断 - 执行运行时,有多种核心能力,适合特定场景团队评估。
如何定义“人味儿”?——HeartBench评测体系建设实践
在大模型竞争格局生变,情感智能评测缺失的背景下,作者团队发布聚焦AI拟人化的中文评测体系HeartBench,介绍其设计、评估方式、迭代过程等,还沉淀了评测体系构建方法论及专家标注管理思考。
不同灵巧手,终于可以共用「一套大脑」了
北卡罗来纳大学教堂山分校团队提出 One Hand to Rule Them All,构建统一描述空间,使不同灵巧手共享动作表达与策略结构。该方法解决跨手泛化难题,实验证明其在多方面有效,有望推动机器人操作研究发展。
清华发布世界模型评测新标尺:直击机器人感知与行动鸿沟
清华大学等机构推出 WorldArena 评测基准,用于测试 EWM 真实能力。它融合感知与功能评估,含十六项视频指标,结合主客观评价生成 EWMScore。测试揭示模型在感知与行动上的差距,转型为实用型模型是行业挑战。
这个春节P图不求人!小红书开源图像编辑新SOTA
今日小红书基础模型FireRed - Image - Edit亮相,在复杂编辑指令、风格化转换等核心指标表现强,在多项权威测试达SOTA。该项目代码等已开源,模型权重将开源。团队还推出RedEdit Bench评测方案。
算力越高收入越多!OpenAI率先验证AI商业Scaling Law:最新收入200亿美元
OpenAI首席财务官公告显示,其年化经常性收入从20亿美元涨至200亿美元,2023 - 2025年算力增9.5倍、收入增10倍。挣得多也烧得多,其还投建数据中心。首款硬件或2026下半年推出。
检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中,系统评估RAG语料规模与生成模型规模替代关系。实验表明,语料扩容可让小模型追上大模型,提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
世界首个!李飞飞团队推出物理推理基准,大模型统统不及格?
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy,通过测试发现顶尖模型在数值计算上不如人类,还揭示模型推理靠记忆而非测量,为AI发展指明方向。