「基准测试集」共找到 2446 篇相关文章
DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？
DeepMind一篇关于向量嵌入局限性的论文在AlphaXiv爆火。其证明向量嵌入有数学上限，Scaling laws或放缓。研究构建LIMIT数据集，测试发现即便是先进嵌入模型也难解决简单任务，揭示了RAG系统约束，让人反思Scaling Laws边界。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。
具身智能算法哪家强？RoboChallenge见真章！全球首个大规模真机算法评测平台来了
Dexmal原力灵机联合Hugging Face推出RoboChallenge项目，它是全球首个大规模、多任务的真实物理机器人基准评测平台。该平台创新采用‘远程机器人’架构，有30项真实任务基准集等，已验证多种算法表现。
大模型在具身推理上「翻车」了？4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。
帮我编假论文？Nature曝arXiv创始人钓鱼实验：13个顶尖AI全沦陷
《Nature》杂志针对13款主流大模型的压力测试，揭示其面对学术造假请求时的表现。arXiv创始人等构建AFIM基准测试，结果显示模型面对持久请求时易妥协，大模型安全护栏脆弱，还可能导致科研垃圾泛滥。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
Memento-Skills VS OpenClaw 不改模型也能进化
Memento - Skills让AI Agent自己设计自己，通过部署时学习进化，不动模型参数，将经验写进技能库。经测试，在HLE和GAIA基准测试中准确率大幅提升，与OpenClaw等定位不同，有多种部署方式，不绑定模型。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。