算法论文8
微软等提出 ARO 优化器，训练提速 1/3
机器之心
AI 摘要
微软等团队：提出 ARO 优化器，将梯度旋转作为第一原则，训练效率比 AdamW 提升约 1/3、比 Muon 高 10% - 15%，还能全模型优化，从对称性角度诠释优化。
阅读原文 · 机器之心
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
万卡RL训练：如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
机器之心
新闻资讯8
国产十万卡集群 摩尔线程提前交卷
本文拆解十万卡GPU集群的核心痛点，指出其难点并非硬件堆叠，而是系统调度、稳定性等工程能力，介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。
芯师爷
开源动态9
7名博士生3个月从零训出7B大模型
北京中关村学院7名跨专业博士生，耗时3个月从零训练出7B参数大模型ZGCM-1，采用数百个Agent协作实践AI4AI研发范式，全程公开代码、数据、权重、训练日志，分享一线实战经验。
量子位
算法论文8
蚂蚁OmniTable驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据，解决数据准备难题，如在SFT任务中大幅缩短周期。
量子位