「评估调查」共找到 767 篇相关文章
CVPR 2026|用互联网视频替代3D标注:通研院团队打造SceneVerse++「最大规模」真实3D场景数据
北京通用人工智能研究院团队在CVPR 2026接收论文中,提出自动化数据引擎,用互联网视频构建SceneVerse++数据集,规模超现有同类,在3D检测、VQA、VLN任务提升性能,还指明3D空间智能发展方向。
OpenClaw代码越改越崩?新研究EvoClaw揭示:Agents持续开发成功率仅13.37%
USC邓港大等联合发布评估基准EvoClaw,揭示AI在持续开发场景下表现不佳,成功率仅13.37%。研究还指出当前评测易高估AI能力,提出DeepCommit重构演进历史,分析各模型在持续演进中的局限与问题。
OpenClaw 火了半年,Agent 执行层依然是工程空白
当前主流 Agent 工具链执行层基本空白,Violoop 是少数在执行层做系统化设计的项目。它是桌边触屏硬件,获取三类运行时数据,具备感知 - 判断 - 执行运行时,有多种核心能力,适合特定场景团队评估。
如何定义“人味儿”?——HeartBench评测体系建设实践
在大模型竞争格局生变,情感智能评测缺失的背景下,作者团队发布聚焦AI拟人化的中文评测体系HeartBench,介绍其设计、评估方式、迭代过程等,还沉淀了评测体系构建方法论及专家标注管理思考。
清华发布世界模型评测新标尺:直击机器人感知与行动鸿沟
清华大学等机构推出 WorldArena 评测基准,用于测试 EWM 真实能力。它融合感知与功能评估,含十六项视频指标,结合主客观评价生成 EWMScore。测试揭示模型在感知与行动上的差距,转型为实用型模型是行业挑战。
检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中,系统评估RAG语料规模与生成模型规模替代关系。实验表明,语料扩容可让小模型追上大模型,提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
世界首个!李飞飞团队推出物理推理基准,大模型统统不及格?
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy,通过测试发现顶尖模型在数值计算上不如人类,还揭示模型推理靠记忆而非测量,为AI发展指明方向。
硅谷10万大裁员真相:AI根本没想取代你,是老板想干掉你
美国科技公司正大规模裁员,10月裁员人数暴涨。出版业大亨认为AI或致全民失业或经济崩盘,Meta用AI辅助绩效评估。AI常成裁员借口,实则与盲目扩招、财务压力等有关,美国大学文凭也在贬值。
理解规范驱动开发:Kiro、spec-kit和Tessl
作者尝试理解规范驱动开发(SDD),查看了 Kiro、spec - kit 和 Tessl 三个自称 SDD 的工具。介绍了 SDD 定义、规范含义,分析评估工具的挑战,还指出工具存在不适合多数编程问题、审查体验差等问题。
大模型在具身推理上「翻车」了?4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力,用4496道题测试20个模型。发现多模态大模型具身能力不足,还分析错因,开发BEAR - Agent提升模型具身推理能力,在仿真测试中效果显著。