「基准测试数据集」共找到 1347 篇相关文章
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
LeCun团队揭示LLM语义压缩本质：极致统计压缩牺牲细节
图灵奖得主LeCun团队提出全新信息论框架，对比人类与LLM语义压缩策略。通过构建人类概念分类基准、选30+LLMs，发现LLM虽有语义组织能力，但难处理细粒度差异，侧重统计压缩，人类更重细节语境。
ICML 2025 Oral工作再升级！上海AI Lab联合复旦、港中文推出支持更长视频理解的最佳工具VideoRoPE++
上海AI Lab联合复旦、港中文推出支持更长视频理解的工具VideoRoPE++。它确定了将RoPE应用于视频的关键特性，构建评测基准V - RULER，提出外推方案YaRN - V，在多任务中优于先前RoPE变体。
香港科技大学、Manycor开源空间大模型，超3000颗星
香港科技大学、Manycore联合开源空间大模型SpatialLM，用于处理3D点云数据。它结合点云特征提取、对齐和语言生成，实现高效转换。研究团队经多种尝试选定基于点的方法及Sonata编码器，还选Qwen2.5 - 0.5B为基础模型。
强化学习新发现：无需数学样本，仅游戏训练AI推理大增
莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。
真实联网搜索Agent，7B媲美满血R1，华为盘古DeepDiver给出开域信息获取新解法
华为诺亚方舟实验室提出 Pangu DeepDiver 模型，实现 LLM 搜索引擎自主交互新范式。它用真实互联网数据训练，在 WebPuzzle 等基准测试中，7B 的 DeepDiver 媲美 671B DeepSeek - R1，展现强大信息获取与泛化能力。
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。