「后训练策略」共找到 4314 篇相关文章
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
训练提速4.6倍！FP4+BF16双轨并行，NVIDIA×港大×MIT联手重新定义扩散模型训练速度上限
NVIDIA、港大、MIT团队提出Sol - RL，采用「FP4先探索、BF16再训练」框架，将扩散模型训练收敛速度最高提至4.64x，在速度与对齐效果间给出工程可行解法。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
小目标检测难点分析和解决策略
文章基于24年综述论文，分析小目标检测难点，如特征不足、难区分背景等，还给出主流改进方法，涉及数据增强、特征提取、特征融合、损失函数、训练策略等方面，介绍多种算法及效果。
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。