「基准测试数据集」共找到 1347 篇相关文章
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
Reasoning模型可以Self-Train！
当前大模型依赖人类标注数据，成本高且扩展难。论文探讨模型自我纠错、自主进化可能，提出自我奖励训练（SRT），用投票共识代替人类标注。在数学数据集上有效果，但高难度数据集出现问题，作者给出解决办法并开源代码。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
AI产业链投资大逻辑：第六集
本集聚焦AI产业链应用层悖论。应用层离用户近、故事性感，但现阶段易让投资者犯错。虽有诸多火热产品且公司估值高，但‘创造价值’与投资者‘以好价格买价值’并非一回事。
云栖重磅合集 | 吴泳铭：超级人工智能之路
2025云栖大会上，阿里巴巴集团CEO吴泳铭认为实现AGI是确定事件，终极目标是超级人工智能ASI。他介绍了通往ASI的三阶段，还判断大模型是下一代操作系统，超级AI云是下一代计算机。阿里云也升级全栈AI体系，通义大模型7连发。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。
AI 智能体实践评估：基准、框架与经验总结
文章为将 AI 智能体从原型落地到生产环境的团队提供实用评估框架。指出传统评估不适用于智能体，介绍评估工具，阐述五大评估支柱，还给出基于 Claude 和 LangChain 的评估示例及实践经验。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
AI领域并无真正的新想法，只有新的数据集
作者Jack Morris认为AI虽进步明显，但范式转变级突破不多。大语言模型四次关键突破底层理论早已有之，新在于数据。改变数据比调整模型或算法作用更明显，推动AI进步应找新数据，如YouTube或具身化数据。