搜索：两阶段训练策略

「两阶段训练策略」共找到 3209 篇相关文章

马斯克麾下最惨打工人：手滑删掉xAI三周训练数据

xAI一名员工在数据迁移时误删了2到3周的核心训练数据，这或为Grok重组震荡后遗症。xAI为追Claude等，采取喂Cursor数据、自研V9等策略，还曾借道访问竞品模型。如今xAI把算力租给对手变现。

生成式推荐依赖语义ID，可现有语义ID常先学好再冻结，与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架，让推荐损失参与语义ID学习，还设计策略解决训练问题，实验表现佳。

1X公司为机器人NEO引入1X World Model，使其学会‘想象’。该模型借助视频预训练，不依赖大规模机器人数据和遥操作演示，能泛化到新场景。实验显示其在多任务上表现不错，但精细操作有挑战。

过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。

现有端到端对话模型推理能力未解锁，因深度思考带来延迟。为此提出 Mini - Omni - Reasoner，采用边思考边表达范式，突破‘要么快，要么准’困境，还设计了数据合成管线和五阶段训练方法，实验证明其性能提升明显。

阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。

来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。

文章指出在大模型时代，智能体能否理解上下文是关键。介绍了上下文工程的魔力、从提示词到上下文工程的演进，分析了上下文工程不等同于上下文的原因及常见失败类型，还给出编排设计和常见策略，最后提及用RAGFlow构建私有知识问答应用。

至知创新研究院UBio团队发布的UBio-MolFM v1.5，是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升，实测中表现优于经典力场，架构、数据和训练都有创新，误差降45%，速度提8倍，现已开源。

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。