「MoE算子」共找到 208 篇相关文章

开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践

文章是对蚂蚁开源x SGLang Meetup分享的回放解读,聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案,分析在Blackwell上做GEMM + AllReduce融合算子的优势,介绍multimem指令等,还提及接入模型执行路径和性能结果。

GiantPandaLLM
算法论文8

刚刚,英伟达革了自己的命:智能体自主进化7天,干掉所有算子工程师、GPU专家

英伟达新研究AVO构建了新型进化变异算子,用自主编码智能体取代经典方法。智能体7天自主进化,优化MHA内核,性能超cuDNN和FlashAttention - 4,还能快速适配GQA,展现强大泛化能力。

机器之心
新闻资讯8

从 AI Agent、RLHF 到 MoE 大规模训练:AMD 这场开发者日,把一线实战话题凑齐了 |Q推荐

AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题,覆盖AI Agent、RLHF、MoE大规模训练等前沿领域,还有多场实操分享。

InfoQ
算法论文8

梁文锋署名!DeepSeek再发炸裂论文:提出“条件记忆”新范式,彻底打破GPU推理显存墙

来自DeepSeek的新论文提出“条件记忆(Conditional Memory)”新范式,推出Engram模块,实现可扩展知识查找。研究揭示U形缩放定律,构建的Engram模型性能超越纯MoE基线,还打破了GPU显存瓶颈。

AI寒武纪
新闻资讯8

北大南开数学家解决著名“十杯马天尼”问题:更统一、更优雅的证明

困扰数学和量子力学交叉领域半个世纪的“十杯马天尼”问题,虽2005年被数学家给出完整证明,但原证明依赖特殊对称性,难以推广到现实。北大葛灵睿、南开尤建功加入研究,将结论推广到更大类准周期算子,给出更优雅统一证明。

量子位
开源动态8

kimi K3超大杯升级背后的技术内幕

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。

Agent的潜意识
算法论文8

梁文锋署名新论文,DeepSeek V4架构首曝?直击Transformer致命缺陷

新智元报道,梁文锋署名的DeepSeek新论文提出全新Engram模块,解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴,通过Engram模块实现近似O(1)的确定性知识查找,或成稀疏LLM主流路线,下一代V4可能集成该方法。

新智元
算法论文7

论文解读:一个运算符能导出所有基本函数

波兰雅盖隆大学Odrzywołek发现二元算子EML,结合常数1能生成科学计算器所有标准功能。EML算子简化运算符集合、将离散问题转化为连续优化问题,但存在数值稳定性、表达式非唯一等局限。

力学与人工智能
推荐文章8

2025 年最全面的 LLM 架构技术解析【长文】

Sebastian Raschka更新「大型LLM架构对比」长文,解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点,像DeepSeek V3用MLA和MoE提升效率,还探讨线性注意力复兴等趋势。

AGI Hunt
开源动态8

万亿参数狂欢!一文刷爆2025年七大顶流大模型架构

文章深入剖析2025年顶级开源模型的创新技术,介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构,揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。

新智元