「Muon优化器」共找到 1415 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
AI教母李飞飞空间智能开源大动作：上亿节点3D高斯场景塞进手机网页
AI教母李飞飞的空间智能公司World Labs开源3D高斯泼溅网络渲染器Spark 2.0，打破硬件与平台壁垒，将亿级渲染能力带到网页和移动端，解决Web端痛点，还采用三大核心技术系统及更多黑科技。
OCR 发生了一件反直觉的事
百度 PaddleOCR 团队的 500 万参数模型 PP - OCRv5，在文字识别准确率上可与 Qwen3 - VL、GPT - 4o 等巨无霸模型抗衡。团队挑战‘模型越大，效果越好’，认为 OCR 中数据质量比参数重要，通过实验证明并优化数据。
Datadog 如何将其 Agent 的 Go 二进制文件缩减 77%
5 年里 Datadog Agent 从 428 MiB 增至 1.22 GiB，其工程师着手缩减二进制文件大小。发现膨胀主因是隐藏依赖等，采取审计导入项等措施，借助工具优化，还减少反射和插件使用，6 个月实现缩减且未移除功能。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。
千问接入淘宝、闪购、飞猪，意味着什么？
2026 年初千问升级，上线任务助理并接入淘宝、闪购等。其能处理常见任务，但更重要的是可解决用户衣食住行等实际问题，虽目前部分场景待优化，但阿里有优势，不过千问也面临体验、协同和商业化挑战。
CES 2026现场观察：AI正在“消失”｜甲子光年
本文为CES 2026现场观察，指出AI正从工具变为前提条件，“默认式AI”到来。还介绍多款新奇产品，如Glyde理发器、MOVA飞行扫地机器人等，也提及AI硬件变萌、可穿戴设备爆发及中国机器人受关注等趋势。
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。
后生可畏！何恺明团队新成果发布，共一清华姚班大二在读
何恺明团队继5月提出MeanFlow (MF) 后，近日推出改进版Improved MeanFlow (iMF)，解决了原始MF三大核心问题。它重构预测函数，还实现灵活的无分类器指导和高效的上下文内条件作用架构，提升了实用性和效率。