「训练方法升级」共找到 3998 篇相关文章
OpenAI高管自爆：Scaling不死，GPT-5「双轴训练」撕开智能天花板
OpenAI首席运营官Brad Lightcap在对话中揭秘GPT-5，其能自主判断是否深度推理再作答，体验全面升级。训练方式有后训练，Scaling Law仍成立，未来从两轴改进。还探讨了AGI、应用场景等。
大模型训练的不稳定性有望彻底解决，MIT新研究用谱正则化替代层归一化
MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。
DeepSeek-R1全升级V2版：Token成本低至原来30%
DeepSeek - R1 V2版全维度升级，训练框架从‘单一RL’到‘多阶段协同优化’，推理能力从‘能推理’到‘会优化推理’，还提升了安全可控性，适配生态，推出轻量级模型。
首次结合RL与SFT各自优势，动态引导模型实现推理⾼效训练
新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。
大模型“精细化”对齐，真实性提升25.8%刷新SOTA！token级精准编辑，无需训练即插即用
北航团队在EMNLP 2025提出Token - Aware Editing (TAE)方法，从token层面解决传统表征编辑技术问题，无需训练、即插即用，在多个对齐维度显著提升，如在TruthfulQA任务上真实性指标提升25.8%。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。