算法论文7
估值840亿实验室为大模型训练提供新思路
新智元
AI 摘要
OpenAI前CTO创办的Thinking Machines Lab发布「模块流形」研究，将传统数值修正转为「预防式」约束优化，提出新范式，还介绍流形优化器及算法，为训练大模型提供新思路。
阅读原文 · 新智元
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
万卡RL训练：如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
机器之心
新闻资讯8
国产十万卡集群 摩尔线程提前交卷
本文拆解十万卡GPU集群的核心痛点，指出其难点并非硬件堆叠，而是系统调度、稳定性等工程能力，介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。
芯师爷
开源动态9
7名博士生3个月从零训出7B大模型
北京中关村学院7名跨专业博士生，耗时3个月从零训练出7B参数大模型ZGCM-1，采用数百个Agent协作实践AI4AI研发范式，全程公开代码、数据、权重、训练日志，分享一线实战经验。
量子位
算法论文8
蚂蚁OmniTable驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据，解决数据准备难题，如在SFT任务中大幅缩短周期。
量子位