「推理训练数据」共找到 5153 篇相关文章
没想到,32B清华DeepDive掀翻深度搜索全场的!
文章指出大模型在真实深网搜索场景表现不佳,核心矛盾是缺‘难搜’数据和多轮工具调用 RL。清华 DeepDive 用数据合成造‘难搜’题,端到端多轮 RL 训练,在 BrowseComp 刷新开源记录,迁移能力也强。
在Think中边搜索边调整的搜索增强Reasoning方法
LLM虽知识丰富,但无法掌握训练数据外的信息,传统检索增强生成方法有缺陷。AutoRefine提出“先筛选,再回答”理念,用强化学习训练,实验显示在多方面碾压传统方法,未来或改变知识密集型任务解决方式。
李飞飞又被超越了?百万「普通视频」打造通用4D世界模型!
全行业为昂贵多视角数据发愁时,中科院和CreateAI推出NeoVerse,用百万单目视频打开4D世界模型大门。它抛弃多视角数据和离线预处理,解决扩展性瓶颈,在重建速度、生成质量等方面表现出色,有丰富下游应用。
机器人的「GPT时刻」来了?丰田研究院悄悄做了一场最严谨的VLA验证实验
丰田研究院(TRI)团队研究大型行为模型(LBM),在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著,预训练小数据量也能带来增益,预示机器人通用大模型或到来。
吴恩达关注的Ling-1T背后,蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T,其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方,从架构、预训练、后训练对齐和基础设施四个层面构建推理模型,还分享失败教训,提供开源SOP。
刚刚,Thinking Machines Lab博客提出在策略蒸馏,Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客,提出在策略蒸馏可结合强化学习纠错与SFT奖励密度,成本低且能让小模型有强大性能。该成果受Qwen团队启发,大量用Qwen3模型。还对比了不同训练方法。
港大×复旦×上交:视触觉融合+闭环纠错,让机器人双臂协作不再「盲操」
港大联合复旦、上交大提出TAMEn,在UMI框架上全方位升级,构建视触感知融合等数据闭环,打通数据采集到再训练链路。其三层闭环让机器人学得更快准高效,在双臂协作任务中提升成功率。
成本不到8千美元!新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型,仅15亿参数、训练成本不足8000美元,却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则,分两阶段训练,性能出色,成本低且数据无污染。
告别昂贵人工标注,英伟达全自动视频理解助力小模型逆袭顶级大模型
麻省理工、英伟达等推出FoundationMotion,它是全自动数据生成流水线,能解决运动数据稀缺难题。通过自动标注生成问答数据,让小模型经微调后在运动理解上超越顶尖闭源模型,还介绍了其数据生成、问答设计等环节。
函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜,发现遗忘源于模型激活带偏差新功能,非覆盖旧功能。还设计FVG训练法,保留并对齐函数向量,保护模型能力。相关论文被ICLR2025接收,代码开源。