算法论文7
Mira Murati团队:模块化流形让训练更稳定
AI工程化
AI 摘要
Mira Murati团队提出“模块化流形”,把权重约束在Stiefel流形让训练稳定,设计Manifold Muon优化器。CIFAR - 10实验效果好,但有计算开销等问题,代码开源,值得关注。
阅读原文 · AI工程化
Thinking Machines再发文:模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究,提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形,设计Manifold Muon优化器,实验显示效果好,但计算开销和理论问题待解决,代码已开源。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
Agent落地不靠更强模型靠工程系统
本文邀请蚂蚁、腾讯、京东的多位技术专家,围绕Agent落地生产环境展开讨论,提出当模型能力逐渐商品化后,真正的竞争壁垒已经转移到模型之外的工程系统,核心是从Harness到Loop的理念转变。
InfoQ
产品应用8
千问发布全新主动交互AI眼镜N1 Pro
本文介绍千问最新发布的N1 Pro AI眼镜,颠覆传统AI眼镜需手动/语音唤醒的交互逻辑,搭载全天候视觉感知、眼动追踪,集成健康监测、高像素影像等功能,起售价2600元,同时推出性价比款N1。
量子位
开源动态9
iPhone断网可跑35B国产开源大模型
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7,其35B-A3B版本总参数35B,推理仅激活3B,仅需3G内存即可在iPhone等手机断网流畅运行,性能领先同类模型,详解了其优化技术与行业价值
量子位
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程