产品应用7

Unsloth AI方案降大模型训练显存门槛

AI工程化2025-11-26

AI 摘要

Unsloth AI的FP8精度强化学习方案降低消费级显卡跑大模型训练门槛，Qwen3 - 1.7B的GRPO训练仅需5GB显存。与TorchAO合作，推理优势明显，内存优化佳，安装简单。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

万卡RL训练：如何选最优Batch Size

本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。

本文拆解十万卡GPU集群的核心痛点，指出其难点并非硬件堆叠，而是系统调度、稳定性等工程能力，介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。

北京中关村学院7名跨专业博士生，耗时3个月从零训练出7B参数大模型ZGCM-1，采用数百个Agent协作实践AI4AI研发范式，全程公开代码、数据、权重、训练日志，分享一线实战经验。

长程 Agent 推理时，传统方法使上下文臃肿、推理成本高。清华、腾讯等团队提出 ContextPilot 框架，扩展管理工具集、采用新采样和信用分配方法。实验显示其用短上下文获高分，降低推理开销。