「后训练流程」共找到 4327 篇相关文章
智谱终于发布GLM-4.5技术报告，从预训练到后训练，细节大公开
上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。
科普向：一文解构大模型后训练，GRPO和它的继任者们的前世今生
文章深入解读大模型后训练，先对比 PPO 与 GRPO，指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法，如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性，还提及 GRPO 其他缺陷。
NeurIPS 25 | GRPO进阶版来了，GVPO重构大模型后训练范式
大模型后训练越发关键，GRPO 有缺陷。作业帮与香港科技大学（广州）团队在 NeurIPS 2025 提出 GVPO 方法，解决 GRPO 稳定性难题，理论有最优解保证，实验表现超现有方法。
LLM后训练太烧钱？清华&腾讯有了破解法门：关键是得会Rollout
大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。
ACL 2026 | 中科大&上海AILab揭示强化学习后训练的Scaling Law
中国科学技术大学和上海人工智能实验室等团队，在Qwen2.5和Llama 3模型开展研究，揭示强化学习后训练的Scaling Law，提出幂律公式预测模型学习效率与训练轨迹，成果被ACL 2026接收。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
从OpenAI回国的90后姚班博导，打造了国内首个开源Agent训练框架：从OpenAI团队解散与重组，看智能体十年沉淀
本文讲述90后姚班博导吴翼的经历。他曾在OpenAI参与多智能体研究，回国后投身学术与创业，打造国内首个开源Agent训练框架AReaL。他分享在OpenAI的经验，探讨创业、技术发展等问题。
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。
突破后训练瓶颈？Meta超级智能实验室又一力作：CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器，但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法，把推理时额外计算当教师信号，为大模型提供监督，实验显示效果显著。
EMNLP2025 | SFT与RL的结合，vivo AI Lab提出新的后训练方法
vivo AI Lab 算法团队提出新的大模型后训练框架 GTA，综合 SFT 和 RL 优点，解决文本分类场景中 RL 收敛慢问题。论文已被 EMNLP 2025 录用，介绍了 GTA 框架设计思路、实验结果等，未来还将探索更多场景和大模型。