推荐文章7

Thinking Machines：模块化流形让训练更优

AGI Hunt2025-09-27

AI 摘要

Thinking Machines实验室提出模块化流形理论框架，让神经网络训练更稳定高效。通过在权重矩阵施加流形约束，提出流形Muon优化器，实验显示其效果超AdamW，还探讨了扩展到大型网络的方法及未来工作方向。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

840亿AI公司发布第二篇研究论文

明星创业公司Thinking Machines公开第二篇研究论文，主题为“Modular Manifolds”，通过统一框架约束和优化网络不同层/模块，提升训练稳定性与效率。论文提出模块化流形思路，若应用于大模型，训练效率和稳定性将大幅提升。

Mira Murati团队分享神经网络训练推理新研究，提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形，设计Manifold Muon优化器，实验显示效果好，但计算开销和理论问题待解决，代码已开源。

8月18日，IJCAI 2026大会上，研究卓越奖得主Nick Jennings回顾智能体发展历程，指出当下智能体AI火热，它并非新概念，而是经数十年积累。还分享经验，展望从智能体到智能社会的未来。

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。