「流形Muon」共找到 21 篇相关文章
大模型训练的不稳定性有望彻底解决，MIT新研究用谱正则化替代层归一化
MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
翁荔陈丹琦加盟的840亿AI公司，公开第二篇论文
明星创业公司Thinking Machines公开第二篇研究论文，主题为“Modular Manifolds”，通过统一框架约束和优化网络不同层/模块，提升训练稳定性与效率。论文提出模块化流形思路，若应用于大模型，训练效率和稳定性将大幅提升。
PRF | 宾州州立、南科大杨翔、张雯等：粗糙壁湍流的低维建模新范式
传统粗糙壁湍流低维建模依赖经验参数，泛化与精度不足。该研究提出新思路，将粗糙面形貌压缩到低维流形，用自动编码器和前馈神经网络建模，重构效果好、预测准，有生成与泛化性。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
ICML 2026 | 大模型为什么算不对加法？南大团队提出等本位和轨迹，揭示LLM算术错误的几何机制
南大团队研究LLM在多操作数加法中的内部表征结构，发现算术状态呈高度结构化几何流形。提出等本位和轨迹与噪声量化模型，解释模型算错加法原因，还设计推理时纠错方法。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
刚刚，DeepSeek扔出大杀器，梁文锋署名！暴力优化AI架构
2026新年第一天，DeepSeek发表梁文锋署名新论文，提出「mHC（流形约束超连接）」架构。它仅增约6.7%训练时间开销，就能让27B参数模型性能显著提升，还可能淘汰ResNet结构。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。