搜索：基准测试数据集

「基准测试数据集」共找到 1347 篇相关文章

AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品

蚂蚁健康与北大王俊院士团队发布全球首个大模型专病循证能力评测框架GAPS及评测集GAPS - NSCLC - preview，解决现有医疗AI评测局限，成果已应用于“蚂蚁阿福”，并客观评价了大模型临床能力。

EverMind团队发布面向人工智能智能体的长期记忆操作系统EverMemOS。它在主流评测集表现超此前工作成新SOTA，受人类大脑记忆机制启发设计，有四层架构和三大特点，已开源，后续将推云服务。

北大团队提出 INP - CC 模型重塑开放词汇 HOI 检测。它提出交互感知提示生成和概念校准两项创新，结合输入图片特性构造提示集合，引入‘困难负样本采样’策略，在两大数据集上表现超 SOTA。

中国自研世界模型Matrix-3D可单张图生成3D世界，效果对标李飞飞的World Labs，还能实现更大范围探索。它有诸多优势，技术上有创新，数据集有特点，应用前景广泛。

时隔5个月，xAI发布通用模型Grok 4，后续还将推编码、多模态代理和视频生成模型。Grok 4已上线，有三个订阅版本。马斯克称其智能超博士生，在多基准测试中领先，编码或超Cursor。

Meta和NYU研究强化学习在大模型微调中的有效性，对比离线、半在线和在线训练范式。半在线和在线显著优于离线，多任务结合可验证与不可验证任务能提升性能，还给出不同任务的测试数据。

昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。

昨晚，DeepSeek官方宣布其R1推理模型升级到最新版本（0528），并公开模型及权重。该版本参数量高达6850亿，采用MIT许可证，性能提升明显，在多个基准测试中成绩优异，网友实测代码能力也大幅提升，但仍存在过度思考问题。

一项新研究表明，7B小模型LoopCoder v2在正常计算外多循环一次，就能在SWE - bench Verified基准上大幅提分。继续增加循环次数，性能反而下降。研究还算了‘收益 - 成本’账，给出选择循环次数的诊断方法。

文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。