「评测集」共找到 1125 篇相关文章
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
如何科学地“设计”SFT 数据？一次关于 ODA 的完整平台级验证
大模型后训练阶段，SFT数据构建常依赖‘直觉’或‘试错’。上海人工智能实验室OpenDataLab团队发布报告，基于OpenDataArena提出新范式，将数据集构建从‘随机艺术’变为‘确定性工程’，并进行平台级验证。
中国科学院携手全球顶尖机构发布首个十亿参数级的手术视频基础模型SurgMotion！
近日，中国科学院等全球顶尖机构发布手术视频原生基础模型SurgMotion。它依托全球最大手术视频数据集，首次突破十亿级参数，覆盖17项核心手术任务，性能卓越，还在多领域形成生态共鸣。
拒绝「盲修」：JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力？
现有 Image Editing Agent 缺乏视觉反馈，易致「指令幻觉」和 Reward Hacking。JarvisEvo 应运而生，它通过 iMCoT、SEPO、On - Policy Reflection 等技术，结合 ArtEdit 数据集和三阶段训练，在修图上表现出色，意义超图像编辑。
李飞飞押注的3D世界模型黑科技，被这篇论文一次性扒光！
李飞飞创业公司World Labs发布空间智能模型成果，推出Marble平台。本文分享3D、4D世界模型技术综述，系统梳理原生表示的世界模型，给出分层分类法、数据集与评测指标，并开源维护。
说句话就能飞！北航发布语言交互的无人机控制模型
北航刘偲教授团队提出语言引导的细粒度无人机轨迹控制研究框架，定义Flow范式。采用模仿学习法让无人机响应指令，构建数据集和仿真评测基准，还提出协作策略和算法，实现真机部署。
NIPS2025｜小红书智创AIGC团队提出布局控制生成新算法InstanceAssemble
当下文本生成图像扩散模型有进展，但现有布局到图像生成方法在复杂场景表现不佳。小红书智创AIGC团队提出InstanceAssemble框架，从架构和评测应对难题，实现复杂布局下精确图像生成，有广阔应用潜力。
数学编码超越O3-high，英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。
WAIC抢先爆料：金融“黑马”大模型超DeepSeek刷新SOTA，论文已上线
WAIC期间，蚂蚁数科金融推理大模型发布会未开，论文已上线。其新模型Agentar - Fin - R1有8B和32B版，在金融测评集超DeepSeek等，还兼顾专业与通用，蚂蚁数科还提出评测基准Finova。