「优化训练」共找到 3159 篇相关文章
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
科普向：一文解构大模型后训练，GRPO和它的继任者们的前世今生
文章深入解读大模型后训练，先对比 PPO 与 GRPO，指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法，如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性，还提及 GRPO 其他缺陷。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
AST | 西交大刘子扬、陈刚等：直接嵌入流场特征的智能化气动外形优化经验学习框架
传统气动外形优化方法有局限，本文提出智能化优化经验学习框架，结合DNN流场预测模型与DRL优化方法，还提出自适应网格再生成技术与Sigmoid奖赏函数，经验证效果良好，为气动优化提供新路径。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式
在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。
把AI 时代最重要的判断力当专业学科训练，专注提升判断力
文章指出AI时代人们多只有“领域内判断力”，判断力可当学科训练。介绍预测大赛中普通人表现超CIA分析师，1小时训练能提升10%准确度，还给出判断力3层栈框架及30天训练清单。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
ICLR 2026！代码优化不再靠玄学：大模型真正学会“又快又准”，效率提升71.06%，加速比达6.08x
ICLR 2026顶会文章提出全新大模型代码优化方案，切入代码优化核心难题。该方案将代码优化率提至71.06%，加速比达6.08x，正确性提至74.54%，有很强工程可用性。
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。