「基准构建」共找到 2650 篇相关文章
首个时空时序推理框架:让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型,能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准,采用三阶段训练策略,模型在多任务表现优,成本低且泛化能力强。
最强多模态模型也拿不到30分?DeepImageSearch定义相册搜索新范式,开启个人视觉记忆的深度搜索时代
人大窦志成教授团队联合OPPO研究院提出DeepImageSearch图像检索新范式,将其从“逐张语义匹配”推向“语料库级上下文推理”。团队构建评测基准DISBench,用ImageSeeker框架评测主流模型,结果显示最强模型单次完美解决查询比例不超三成。
英伟达韩松团队新作:具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron,在基准测试中表现出色,准确率与Qwen3等相当甚至更优,生成吞吐量大幅加速。模型构建经多步骤优化,代码和预训练模型将开源。
阿里开源Qwen3-Coder-Next,80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next,总参数量800亿但仅激活30亿参数,在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏,模型训练分阶段,多领域专家模型能力整合,基准测试性能强劲。
LSTM之父Jürgen再突破,「赫胥黎-哥德尔机」让AI学会自己进化
LSTM 之父 Jürgen Schmidhuber 对 2003 年提出的哥德尔模型进行新尝试,构建赫胥黎 - 哥德尔机(HGM)。它能在 SWE - Bench Lite 媲美最佳人类设计智能体,还在多基准测试中超越现有方法,展现强大迁移能力。
面向6G环境感知通信!西电开源3Dx3D无线电地图数据集与生成式基准框架
面向6G,西安电子科技大学等团队联合提出高分辨率多模态三维无线电图谱数据集UrbanRadio3D,构建三维无线电图生成框架RadioDiff-3D,弥补了当前主流RM构建方法与数据集的局限。
具身智能迈入下半场,RoboMemArena全面评测机器人记忆系统
香港科技大学(广州)等多机构打造具身智能评测基准 RoboMemArena,突破传统局限,构建综合评测体系,配套真机测评。它提供多模态标注,任务长程多样,开源资源易用,PrediMem 在其上表现出色。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准,评估多文件仓库代码理解和生成能力,含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder,评估40多个LLMs,结果显示其能有效测模型反思修复能力。
突破全模态AI理解边界:引入上下文强化学习,赋能全模态模型“意图”推理新高度
在多模态大语言模型应用多元的当下,对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2,解决现有推理路径问题,其相关代码等开源,在多基准数据集成果突破性领先。
复杂空间推理新SOTA,性能提升55%!中山大学新作SpatialDreamer
中山大学等机构推出SpatialDreamer,模拟人类空间认知过程,构建闭环推理流程,还提出GeoPO解决奖励稀疏问题,构建SpatialDreamer - SFT数据集。实验显示其在多基准达SOTA,为AI空间智能发展开辟新路径。