「后训练流程」共找到 4341 篇相关文章
小米罗福莉：MiMo-V2.5如何做到又快又强又便宜？ | ICML 2026
2026年7月ICML大会上，小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路，从架构、训练、推理协同设计，实现“聪明、快速、便宜”，如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。
ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
1人顶1个Infra团队！OpenAI前CTO新招，让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
Kimi K2官方技术报告出炉：采用384个专家，训练不靠刷题靠“用自己的话再讲一遍”
Kimi K2官方技术报告公开称霸全球开源模型的秘籍，介绍其训练过程及“秘密配方”，包括MuonClip优化器、大规模Agentic Tool Use数据合成等技术亮点，还提及后阿里通义Qwen3更新击败Kimi K2。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。