「基准表发现」共找到 1883 篇相关文章
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
面对无解问题大模型竟会崩溃？港中文&华为联合提出首个大模型推理可靠性评估基准
港中文和华为诺亚实验室联合提出ReliableMath基准，探究大模型推理可靠性。提出评估准则，构建含可解与不可解问题的ReliableMath数据集，实验揭示大模型缺陷，还提出提高可靠性的对齐策略。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。