「LLaDA MoE v2」共找到 661 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式
香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。
R1一周年，DeepSeek Model 1悄然现身
2025年1月20日，DeepSeek发布DeepSeek - R1开启新开源LLM时代，其在Hugging Face获赞最多。一年后，DeepSeek新模型Model1在GitHub现身，经Gemini分析或为DeepSeek - V4，还给出相关技术细节。
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
Meta首席科学家LeCun：当前 AI 模型缺乏四项关键人类智能特质
在巴黎AI行动峰会上，Meta首席AI科学家Yann LeCun提出智能四项标准，指当前主流AI系统尤其语言模型在这些方面不足。他认为业界‘组合式’增强是‘功能修补’，介绍Meta‘世界模型’及V-JEPA模型。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
ICML 2025 Oral工作再升级！上海AI Lab联合复旦、港中文推出支持更长视频理解的最佳工具VideoRoPE++
上海AI Lab联合复旦、港中文推出支持更长视频理解的工具VideoRoPE++。它确定了将RoPE应用于视频的关键特性，构建评测基准V - RULER，提出外推方案YaRN - V，在多任务中优于先前RoPE变体。