搜索：推理训练数据

「推理训练数据」共找到 5141 篇相关文章

1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。

多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。

高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。

Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。

近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。

微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。

国产世界模型玩家获突破，VLA模型性能涨300%，90%训练数据由世界模型生成。极佳视界开源GigaWorld - 0及训练框架，在多方面优化，经对比性能领先，还验证其生成数据对具身任务的提升作用。

NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。

大模型发展使数据短缺问题加剧，特殊领域更严重。为此提出合成数据自主进化框架PCEvolve，只需少量标注样本，就能在保护隐私同时进化出数据集，还介绍了其架构、选择器设计及实验结果。

英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。