「多步聚合训练」共找到 5650 篇相关文章
数据邪修大法好：仅用文本数据就能预训练多模态大模型
多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程，通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环，从集群利用率、单节点算力、后训练技术三方面突破，实现大模型高效训练。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
1人顶1个Infra团队！OpenAI前CTO新招，让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
阿里开源Qwen3-Coder-Next，80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next，总参数量800亿但仅激活30亿参数，在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏，模型训练分阶段，多领域专家模型能力整合，基准测试性能强劲。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
大模型如何泛化出多智能体推理能力？清华提出策略游戏自博弈方案MARSHAL
近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。
交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL，昇腾加持，开创智能体训练新范式
强化学习之父指出人工智能迈入「经验时代」，在此背景下，复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架，提出 ScalingInter - RL 方法，7B 模型经训练追平顶尖商业模型，为 AI 发展注入动力。