搜索：基准表发现 - AI Reading Hub

「基准表发现」共找到 1883 篇相关文章

真实科研水平集体不及格！全新基准SFE给主流多模态LLM来了波暴击

上海人工智能实验室AI4S团队推出SFE评测基准，首创三级评估体系，涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战，不同模型、学科表现有差异，还构建了SciPrismaX平台推动AI科学评估生态发展。

浙江大学牵头联合多机构推出全新评估基准NoCode - bench，直面自然语言驱动功能添加任务，发现当前最佳LLM成功率仅两成。它构建严谨，任务挑战大，指明AI软件开发改进方向，且已开源。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。

腾讯混元数字人团队和中山大学推出「Moral RolePlay」测评基准，评估大模型扮演多元道德角色能力，揭示顶尖AI模型演不好反派，暴露模型理解社会心理复杂性的局限，还给出未来对齐技术方向。

首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

上海交大与澜舟科技研究发现现有移动端GUI智能体处理复合长程任务能力不足，提出UI - Nexus测试基准和Agent - NEXUS调度系统，经实验能提升任务完成率，也为AI原生操作系统建立雏形。

南洋理工大学、新加坡国立大学与华为开源首个针对数据智能体异构混合数据分析的基准测试FDABench。它有2007个任务，覆盖多领域多数据源，独创协作框架，能测多种工作流模式的数据智能体。

文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。

纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。