「复制训练」共找到 2217 篇相关文章
最新 AGI 暴论:强化学习的「GPT-3 时刻」实现,还需要 1 万年?
国外AI初创公司Mechanize三位创始人联合撰文称,RL或迎“GPT - 3时刻”,但需数千至上万年“模型处理任务所用时间”训练。还提出“复制训练”新范式,能磨炼模型能力,补足短板。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
制造企业如何实现 AI 产品经理“能力复制”?|极客时间 AI 人才培养实践
在数智化转型中,企业 AI 培训常难以转化业务价值。极客时间为某制造企业定制 AI 产品经理 OMO 训练营,以业务场景为导向,采用三阶段闭环培养模式,课程覆盖全链路,助企业培养人才、建立培养体系。
奖励模型终于迎来预训练新时代!上海AI Lab、复旦POLAR,开启Scaling新范式
在大语言模型后训练阶段,奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR,采用策略判别学习新范式,适配强化微调,性能和泛化能力强,为LLM后训练带来新可能。
OpenClaw 能“边用边训”了:智能体强化学习训练框架 AReaL v1.0 稳定版发布
3月4日,蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版,主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题,还推出原生训练引擎Archon,集成AI辅助开发体系。
真正的AI竞争力,藏在大模型“后训练”这一步
当全球聚焦基座模型参数竞赛时,后训练变革正悄然发生。产业共识是,大模型后训练是AI落地产业必经之路。后训练技术从SFT演进至强化学习范式,企业应用也有了从技术到商业价值的完整链路。
清华SageAttention3,FP4量化5倍加速!且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3,实现5倍于FlashAttention的推理加速,首次支持8比特训练。在多种大模型上保持端到端精度,代码将分别于6、7月开源。
字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio署名
现代LLM依赖显式文本生成训练“思考”,未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro,将推理能力构建到预训练阶段,实现参数效率提升,还降低了有害性。
科普向:一文解构大模型后训练,GRPO和它的继任者们的前世今生
文章深入解读大模型后训练,先对比 PPO 与 GRPO,指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法,如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性,还提及 GRPO 其他缺陷。
新颖的人形机器人训练框架
Robot - Trains - Robot (RTR)是新颖框架,机械臂教师支持引导人形机器人学生。它能以最少人工干预实现高效长期真实世界人形机器人训练,文中还介绍安装设置、使用指南等内容。