「三阶段训练策略」共找到 3215 篇相关文章
小扎「梦之队」首批论文上线!LLM自举进化,单步性能狂飙22%
Meta超级实验室MSL新论文探索用强化学习微调大语言模型。提出探索迭代(ExIt)法,基于RL自动课程学习,训练仅需单步任务,模型学会多步自我改进。在MLE - bench上,ExIt相对GRPO提升约22%。
谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。
拒绝视频生成,深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5,放弃基于视频生成模型的路线,训练时联合学习动作与未来世界表征,推理时移除该表征分支。在真机实验中表现超基线,具跨背景泛化能力,为世界模型提供新思路。
李飞飞 、 英伟达 Jim Fan 、徐丹飞三巨头联合重磅论文,改写灵巧手触觉赛道
近日,李飞飞、英伟达Jim Fan等顶尖学者联合发表论文《T-Rex: Tactile-Reactive Dexterous Manipulation》。指出过去具身行业在灵巧手触觉的探索方向可能错误,目前加触觉会让机器人变笨,但也给出解决方法,真机实测T-Rex表现优异。
马斯克麾下最惨打工人:手滑删掉xAI三周训练数据
xAI一名员工在数据迁移时误删了2到3周的核心训练数据,这或为Grok重组震荡后遗症。xAI为追Claude等,采取喂Cursor数据、自研V9等策略,还曾借道访问竞品模型。如今xAI把算力租给对手变现。
生成式推荐补上关键一环!语义ID首次实现可微分联合优化 | SIGIR'26
生成式推荐依赖语义ID,可现有语义ID常先学好再冻结,与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架,让推荐损失参与语义ID学习,还设计策略解决训练问题,实验表现佳。
500万次围观,1X把「世界模型」真正用在了机器人NEO身上
1X公司为机器人NEO引入1X World Model,使其学会‘想象’。该模型借助视频预训练,不依赖大规模机器人数据和遥操作演示,能泛化到新场景。实验显示其在多任务上表现不错,但精细操作有挑战。
极简RL新范式:一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力,开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案,在两主流1.5B模型上刷新SOTA,节省2倍算力,消融实验还揭示部分技巧会致性能退化。
Mini-Omni-Reasoner:实时推理,定义下一代端到端对话模型
现有端到端对话模型推理能力未解锁,因深度思考带来延迟。为此提出 Mini - Omni - Reasoner,采用边思考边表达范式,突破‘要么快,要么准’困境,还设计了数据合成管线和五阶段训练方法,实验证明其性能提升明显。
模仿人类推理修正过程,阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略,在基准测试集表现佳,还展示多个证明案例。