「后训练方法」共找到 4787 篇相关文章
DeepMind 颠覆机器人学习范式：让机器像人一样 “自由成长”
谷歌DeepMind受大模型微调中强化学习阶段启发，提出面向机器人学的两阶段后训练方法，含监督微调与自我提升。实验显示该方法让机器人自主习得新技能、广泛泛化，但研究也存在标注成本高等局限。
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。
训练效率提升25%、成本降23%！上海期智研究院、算秩未来联合推出MegatronApp：专为万亿参数大模型训练打造的系统工具包
上海期智研究院联合算秩未来在WAIC 2025大会发布开源项目MegatronApp，它是国内首个围绕Megatron - LM的增强工具链。经实际数据，其在该框架下训练效率提25%、成本降23%，含四大模块解决训练难题。
ICLR 2026 Oral | Revela：用语言建模重新定义稠密检索器训练
在检索增强生成系统中，稠密检索器是核心组件，但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela，将检索器训练目标统一到语言建模框架，优势明显，实验效果佳。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。