「长序列训练」共找到 2681 篇相关文章
智谱发布GLM 4.5，不仅开源模型还把训练框架也开源了
智谱AI发布GLM 4.5，不仅开源模型，还开源整套后训练基础设施。模型规格亮眼，性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计，完整工具链支持多种模型。
微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
从RLHF、PPO到GRPO再训练推理模型，这是你需要的强化学习入门指南
强化学习是当今LLM重要技术，Unsloth团队发布教程，从吃豆人谈起，介绍RLHF、PPO到GRPO，分享用GRPO训练推理模型技巧，涵盖相关概念、训练方法及奖励函数设计等内容。
无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架，模仿人类推理心理学原理，将演绎、归纳与溯因能力融入模型训练。实验显示，该方法提升模型在多任务上的性能，且有跨领域可扩展性。
535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案，三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%，为大规模MoE模型训练扫清障碍。
YOLOv8 模型训练入门指南：手把手搞定目标检测AI
本文是从零训练 YOLOv8 模型的完整实录，介绍了 YOLOv8 特点，以“识别猫”为例，详述训练步骤，指出训练难点，还推荐学习资源与工具，鼓励前端程序员尝试做 AI 模型训练。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。