「基准测试集」共找到 2508 篇相关文章
ICML 2025 | 清华、上海AI Lab提出专家级医学基准MedXpertQA，看o3、R1哪家强
本文由清华和上海AI Lab学者撰写，提出专家级医学基准MedXpertQA。现有医学基准难度和临床相关性不足，而MedXpertQA极具挑战、临床相关性高，构建严格，评测显示前沿模型在医学领域提升空间大。
靠AI破解癌症，初创公司融下3000万刀！新目标：建10亿单细胞数据集
福布斯介绍，初创公司Tahoe Therapeutics融资3000万美元构建活细胞AI模型，估值达1.2亿美元。该公司已研发出针对一种主要癌症亚型的候选药物，还开源数据集，与其他公司合作开发AI agent。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
YOLO12改进引入DINOv3少样本目标检测精度飙升，分享训练自定义数据集代码
Meta 人工智能研究院的 DINOv3 是基于自监督学习的视觉大模型，解决诸多问题且无需微调，在多任务表现出色。将其引入 YOLO12 后，在不同规模数据集上检测性能显著提升，还分享训练自定义数据集代码。
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率，华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。
北大团队让AI学会考古！全球首个古希腊陶罐3D视觉问答数据集发布，还配了专用模型
北大团队推出全球首个面向古希腊陶罐的3D视觉问答数据集VaseVQA - 3D，配套专用视觉语言模型VaseVLM。传统模型面对文化遗产复杂对象有不足，新数据集和模型让AI迈向‘文化考古Agent’，未来将拓展到更多领域。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
突破全模态AI理解边界：引入上下文强化学习，赋能全模态模型“意图”推理新高度
在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。