「fp8 quant kernel」共找到 81 篇相关文章
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
全网爆火的DeepSeek「UE8M0 FP8」，原来英伟达早已支持
NVIDIA PTX ISA文档早有.ue8m0数据类型，UE8M0 fp8并非DeepSeek独创。从PTX 8.0/9.0起，NVIDIA在ISA级别支持.ue8m0，H100、RTX 40系列等都有相关支持，DeepSeek是将其提升到模型层面。
DeepSeek一句话让国产芯片集体暴涨！背后的UE8M0 FP8到底是个啥
DeepSeek V3.1发布后，官方留言提及新架构和下一代国产芯片，引发AI圈轰动，国产芯片企业股价上涨。文章介绍了UE8M0 FP8概念，分析其适配国产芯片原因，还猜测适配的芯片厂商，指出代表国产AI走向软硬协同。
训练提速4.6倍！FP4+BF16双轨并行，NVIDIA×港大×MIT联手重新定义扩散模型训练速度上限
NVIDIA、港大、MIT团队提出Sol - RL，采用「FP4先探索、BF16再训练」框架，将扩散模型训练收敛速度最高提至4.64x，在速度与对齐效果间给出工程可行解法。
「AI大咖谈」顶尖量化机构Quant谈"算法工程师"转量化方向的可能性与优劣势
文章是对顶尖量化机构量化研究员的匿名访谈，探讨算法工程师转量化方向的可能性与优劣势，涉及收入、考核、压力、技能差距等方面，还提及量化岗位分类、市场环境及对机器学习的依赖程度。
了解下 FlashInfer SKILLS 写法
文章介绍 FlashInfer 的三个 SKILL 文件，涉及调试、性能测试、添加新 kernel 等开发场景。如通过装饰器做 CUDA 调试，提供两种计时方式做性能测试，还给出添加新 kernel 的 10 步流程及最终文件清单，实用价值高。
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。
TileLang深入详解-第三章-Kernel，Buffer，并行控制和矢量化
文章详细介绍TileLang核心编程构造，包括Kernel函数、Buffer和并行控制等。阐述其计算定义、并行与循环控制方式，还提及性能优化的矢量化访存，给出代码示例，并分享源码里形状、并行域和线程的最佳实践。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础，但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核，展示构建、测试与分享步骤。