「Grouped GEMM」共找到 31 篇相关文章
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础，但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核，展示构建、测试与分享步骤。
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。
OpenAI终于快要上市了，也直面了这23个灵魂拷问。
OpenAI宣布完成重组，非营利主体更名，营利公司OpenAI Group PBC接纳新股东，有了发行股票和IPO资格。随后进行1小时直播，提到AGI加速科学发现，还开展首次Q&A，回应诸多热点问题。
为 120 个 AI 项目做增长，矩阵魔方叶晨曦：优秀的增长团队，不能去「爱」自己的产品
叶晨曦带着近10亿营销经验回归AI赛道，分享AI GTM底层逻辑。他指出AI营销缺人，窗口期仅三个月；还谈到找差异化、破圈、营销预算等要点，强调创始人要身先士卒，职业创业者应“失去爱产品的能力”。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
OpenAI完成资本重组，奥特曼宣称28年实现完全自动化AI研究员
昨晚，OpenAI宣布完成资本重组，简化结构，非营利的OpenAI基金会持股营利性OpenAI Group 26%。未来基金会将在健康与AI韧性技术发力，投入250亿美元。奥特曼称2028年实现全自动AI研究员，还公布与微软新合作协议。