推荐文章7
Thinking Machines:模块化流形让训练更优
AGI Hunt
AI 摘要
Thinking Machines实验室提出模块化流形理论框架,让神经网络训练更稳定高效。通过在权重矩阵施加流形约束,提出流形Muon优化器,实验显示其效果超AdamW,还探讨了扩展到大型网络的方法及未来工作方向。
阅读原文 · AGI Hunt
Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文7
840亿AI公司发布第二篇研究论文
明星创业公司Thinking Machines公开第二篇研究论文,主题为“Modular Manifolds”,通过统一框架约束和优化网络不同层/模块,提升训练稳定性与效率。论文提出模块化流形思路,若应用于大模型,训练效率和稳定性将大幅提升。
量子位
算法论文7
Mira Murati团队:模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究,提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形,设计Manifold Muon优化器,实验显示效果好,但计算开销和理论问题待解决,代码已开源。
AI工程化
推荐文章9
AI造AI:2026递归自我改进加速
本文汇总2026年全球顶尖AI机构在递归自我改进(RSI)领域的最新实践,涵盖技术进展、行业动态,也包含学界质疑与风险讨论,完整梳理AI造AI的当前阶段与未来走向。
机器之心
推荐文章9
杨思成:模型不行 灵巧手就得卷性能
源升智能创始人杨思成深耕灵巧手领域十余年,在本次访谈中分享了对灵巧手行业技术路线、产品定位的判断,提出当前阶段需打造全维度高性能的高自由度灵巧手。
AI科技评论