「大规模训练」共找到 2300 篇相关文章
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。
重磅开源！首个全异步强化学习训练系统来了，SOTA推理大模型RL训练提速2.77倍
清华大学和蚂蚁技术研究院联合团队开源全异步强化学习训练系统 AReaL-boba²，坚持“全面开源、极速训练、深度可定制”理念，实现异步 RL 训练，训练速度最高提升 2.77 倍，支持多轮智能体强化学习训练。
ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。
大模型竞赛转向：决胜关键为何是“后训练”？｜甲子光年
大模型价值主战场向后训练转移，Grok 4凭后训练成“宇宙最强”。产业应用中通用模型适配难，后训练方法也在进化，如采用SFT+RL等，还介绍了夸克和阿里云的后训练实践。
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程，通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环，从集群利用率、单节点算力、后训练技术三方面突破，实现大模型高效训练。
数据减少超千倍，500 美金就可训练一流视频模型，港城、华为Pusa来了
香港城市大学与华为香港研究所合作推出 Pusa 项目，它基于 FVDM 理论，可极低成本微调大规模预训练视频模型，成本降超 200 倍、数据减少超 2500 倍，代码已开源。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。