「Muon优化器」共找到 1410 篇相关文章
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken,可将图像、视频、3D对象映射到共享token空间,统一处理视觉媒体。它由预训练编码器和解码器组成,经多阶段训练,在多任务上达或接近先进水平,为视觉模型带来通用性。
刚刚,DeepSeek扔出大杀器,梁文锋署名!暴力优化AI架构
2026新年第一天,DeepSeek发表梁文锋署名新论文,提出「mHC(流形约束超连接)」架构。它仅增约6.7%训练时间开销,就能让27B参数模型性能显著提升,还可能淘汰ResNet结构。
Meta 开源 Pyrefly,Rust 中的高性能 Python 类型检查器
Meta 开源处于 alpha 阶段的 Pyrefly,它是用 Rust 编写的高性能 Python 类型检查器,灵感源于 Pyre 等工具,旨在取代 Instagram 代码库的 Pyre。它性能出色,还计划今年夏天进 beta 阶段。
为什么我坚决投入GEO(生成式引擎优化)?
AI改变流量分配规则,站长竞争焦点从‘排名位置’变为‘被引用率’,GEO应运而生。作者总结了GEO打法,如优化全站、关键页面,做结构化数据增强,还应用于自身产品。
突发!美国在AI芯片嵌入追踪器,以阻止运往中国
路透社消息,美国当局秘密在部分可能被非法转运至中国的先进AI芯片货运中装位置追踪装置,旨在检测运往受出口限制目的地的芯片,该措施仅针对特定货运,中国谴责美出口限制。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
规模化人工判断:Dropbox 如何借助大语言模型优化 RAG 系统标注
为提升 Dropbox Dash 生成回复的相关性,工程师采用大语言模型辅助人工标注。该方案解决了纯人工标注的局限,通过人工校准大语言模型标注的方法,为 RAG 系统提供了有价值参考。
Oxlint 1.0 稳定版发布:基于 Rust 的 JavaScript 静态检查器
Oxlint是基于Rust的JavaScript和TypeScript静态检查器,其1.0稳定版发布。它有快速检测、规则覆盖广等特点,性能比ESLint高50 - 100倍,能处理多文件规则,开发者反馈积极。
博士学位答辩PPT分享 | 基于神经网络的偏微分方程优化求解方法研究
本文聚焦基于神经网络的偏微分方程优化求解方法,指出传统数值求解范式有局限,物理信息神经网络(PINNs)虽有潜力但面临瓶颈。作者从多方面研究,形成工程流动问题分析框架与改进方法。
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战,如故障多、资源利用低等,还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。