「基准构建」共找到 2650 篇相关文章
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
让模型“看视频写网页”，GPT-5仅得36.35分！上海AI Lab联合发布首个video2code基准
上海人工智能实验室等机构提出IWR - Bench评测基准，从“image - to - code”迈向“video - to - code”，对28个主流模型测试，最佳模型GPT - 5仅36.35分，指出当前模型短板，为研究指明方向。
GPT-4o-Image仅完成28.9%任务！上海AI实验室等发布图像编辑新基准，360道人类专家严选难题
上海人工智能实验室等团队针对图像编辑AI提出问题，推出RISE任务及配套评测基准RISEBench。测试九个视觉编辑模型，结果显示当前模型完成复杂指令能力欠缺，闭源与开源差距大。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
ICML 2026 Oral | 为3D空间智能数据构建全自动数据飞轮，Holi-Spatial打造400万级空间多模态数据集
来自多机构的研究团队提出 Holi - Spatial，可从原始视频自动生成 3D 重建等数据，构建 400 万级空间标注数据集 Holi - Spatial - 4M，提升 VLM 空间能力，还形成自动化数据飞轮，但存在计算成本高、特定场景表现不佳等局限。
智源RoboBrain 2.0+RoboOS 2.0双发：问鼎评测基准最强具身大脑，刷新跨本体多机协作技术范式
近日，智源研究院发布具身大脑 RoboBrain 2.0 32B 版与跨本体大小脑协同框架 RoboOS 2.0 单机版。前者突破能力瓶颈，在多项基准测试表现优异；后者性能提升，实现轻量化部署。二者双擎联动推动机器人迈向群体智能，且已全面开源。
如何让Agent更符合预期？基于上下文工程和多智能体构建云小二Aivis的十大实战经验
文章围绕云小二Aivis项目，分析Agent不按预期输出的原因，从预期和技术层面展开。还总结十大优化经验，如清晰预期、精准投喂上下文等，为构建和调优Agent提供参考。
我们离Coding领域的「AGI时刻」还有多远？字节跳动Seed发布NL2Repo-Bench仓库级长程代码生成基准
在AI编程领域，大家认为Coding领域的AGI似乎可以实现，然而真正的项目开发要求更高。近日，字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench，还介绍了其构建、评估等情况。
AI 如何讲好一个多人故事？首个支持多角色互动的3D场景叙事系统
首尔国立大学提出全新框架，能生成虚拟动态场景并支持多角色上下文动作生成。引入LLM拆解复杂任务，系统用事件驱动方式规划动作，还构建基准评估相关能力，有良好扩展性和实用性。
首个英文原生「弱智吧」！逻辑谬误数据集与生成框架来了 | AAAI'26
研究发现大模型判断逻辑谬误易误报正常句子，但分类能力较强。研究人员构建英文逻辑谬误基准SMARTYPAT - BENCH，开发生成框架SMARTYPAT，为大模型逻辑评估提供新思路，可用于多领域。