「MoE Group GEMM」共找到 170 篇相关文章
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
腾讯提出SPO，告别Group
腾讯团队提出Single - stream Policy Optimization（SPO），回归单流策略梯度范式，解决组基方法瓶颈。它有多项亮点，如告别组同步、采用自适应价值跟踪等，在实验中提升了模型性能和训练吞吐。
CUTLASS CuTe GEMM细节分析（一）——ldmatrix的选择
作者作为CUTLASS CuTe初学者，记录问题分析过程。本文聚焦如何基于TiledMMA及输入矩阵在Shared Memory上的Layout选合适Copy Operation完成拷贝，结合实例讲解ldmatrix指令选择，还给出参考代码。
CUTLASS CuTe GEMM细节分析（二）——TiledCopy与cp.async
文章深入分析TiledCopy，从参数理解、访存连续性等角度展开。介绍Tiler_MN和TiledLayout_TV意义及构造，指出访存连续性影响性能，还说明了基于cp.async构造TiledCopy的要点，如ValLayout选择和Layout限制。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。