「训练加速」共找到 2699 篇相关文章
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。
智谱终于发布GLM-4.5技术报告，从预训练到后训练，细节大公开
上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。
一键式训练端到端Agent，Qwen3+MCP工具集高效集成！
RLFactory是开源的端到端RL后训练框架，将环境与训练解耦，用Qwen3基座调用MCP工具集，可低代码训练端到端Agent模型。它极致易用、训练高效，还支持一键式训练，未来会更易用高效。