「双阶段训练策略」共找到 3206 篇相关文章
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
大模型智能体不止能写代码，还能被训练成白帽黑客
Amazon AWS AI的Q Developer团队发布两项训练网络安全大模型的新方法Cyber - Zero和CTF - Dojo。前者不依赖真实环境生成训练数据，后者构建实战环境让模型学发现漏洞，二者结合为AI白帽黑客成长提供路径。
数据减少超千倍，500 美金就可训练一流视频模型，港城、华为Pusa来了
香港城市大学与华为香港研究所合作推出 Pusa 项目，它基于 FVDM 理论，可极低成本微调大规模预训练视频模型，成本降超 200 倍、数据减少超 2500 倍，代码已开源。
传言：中国AI 公司人肉运硬盘到马来西亚训练模型，美国芯片禁令形同虚设？
《华尔街日报》传言中国AI公司工程师人肉运硬盘到马来西亚训练模型。美国芯片禁令下，中国公司难进口先进硬件，采用复杂方式规避。任正非和黄仁勋都认为可集群补单芯片性能，美国制裁效果堪忧。
谷歌分布式训练开启另一轮扩展定律！百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式，让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损，还能提升系统有效工作时间，有算力撷取和异构计算等红利。
1人顶1个Infra团队！OpenAI前CTO新招，让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。
碾压π0.5，复旦团队首创「世界模型+具身训练+强化学习」闭环框架
复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题，提出 ProphRL 框架。该框架以世界模型 Prophet 为核心，结合 RL 算法，为具身智能落地提供更可行路径，实验效果显著。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。