「评测集」共找到 1084 篇相关文章
大模型结构化推理优势难复制到垂直领域！最新法律AI评估标准来了，抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。
顶尖AI竟输给三岁宝宝，BabyVision测试暴露多模态模型硬伤
UniPat AI 等发布多模态理解评测集 BabyVision，测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测，揭示模型系统性缺基础视觉能力，还给出新方向及发展建议。
打造图像编辑领域的ImageNet？苹果用Nano Banana开源了一个超大数据集
苹果研究团队提出Pico - Banana - 400K数据集，基于Nano - Banana在OpenImages实拍照片生成编辑对。其系统化设计保证质量与多样性，还构建自我编辑评估流程，为图像编辑模型训练评测奠定基础。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
DMLR 2026 | RPI Shaowu Pan（潘韶武）团队 Nithin Somasekharan等：CFDLLMBench——首个面向计算流体力学的大语言模型综合基准评测
文章介绍针对CFD领域的综合LLM评测基准CFDLLMBench，构建三层递进挑战体系。实验揭示主流LLM在‘知道’与‘做到’间有差距，多智能体框架可提升成功率，代码与数据集已开源。
o3 Gemini 都翻车？首个可验证长链 GUI 数据集 VeriGUI 重磅开源，探索通用 Agent 能力边界
GUI 智能体发展遇瓶颈，现有数据集难评估其长时程规划能力。2077AI 开源基金会牵头构建的 VeriGUI 应运而生，有长链复杂性与子任务级可验证性特征，论文登 Hugging Face 月榜第三，还证明现有模型瓶颈。
如何定义“人味儿”？——HeartBench评测体系建设实践
在大模型竞争格局生变，情感智能评测缺失的背景下，作者团队发布聚焦AI拟人化的中文评测体系HeartBench，介绍其设计、评估方式、迭代过程等，还沉淀了评测体系构建方法论及专家标注管理思考。