「评测集」共找到 1089 篇相关文章
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
AI用3年时光，来了解你！首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。
代码榜刷满分，AI科研却撞墙？140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。
打破AI能力的惯性评估方式，红杉中国推出全新双轨基准测试xbench｜甲子光年
红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。
Cursor只排第6！136国用户实测25款AI编码工具，第一名73%胜率，还是个新面孔
Design Arena评测平台用对抗式评测方法，让用户对AI模型生成的设计作品投票，评估其设计美学表现。文章总结了上榜的编码工具，如new.website胜率约73%排第一，还对比了不同类型模型的排名情况。
终结数据荒！智源开源首个Deep Research数据合成框架InfoSeek
在大模型深度研究中，高质量数据是短板。近日，智源研究院发布首个面向深度研究的开源数据集InfoSeek，提出「扩散 - 回溯」数据合成方法，用3B模型在基准测试中接近商业模型表现，且数据集可扩容。
具身大满贯还全开源！原力灵机DM0.5登顶RoboDojo，且clone且珍惜
原力灵机的DM0.5登顶具身评测RoboDojo，在记忆维度表现突出，还在其他权威评测中成绩优异。它有强泛化能力，在多场景表现佳。其从数据、架构、效率全面升级，且全面开源，赋能具身生态。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
Reasoning模型可以Self-Train！
当前大模型依赖人类标注数据，成本高且扩展难。论文探讨模型自我纠错、自主进化可能，提出自我奖励训练（SRT），用投票共识代替人类标注。在数学数据集上有效果，但高难度数据集出现问题，作者给出解决办法并开源代码。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。