「fp8 quant kernel」共找到 81 篇相关文章
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
实时交互式长视频生成
文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。
传言：华为版 DeepSeek R2 本月发布
据 Huawei Central 报道，DeepSeek R2 可能本月 15 至 30 日发布，运行在华为 Ascend 910B 集群，硬件利用率 82%，算力 512 PetaFLOPS FP16，效率达 A100 的 91%，将与 ChatGPT 5 竞争，但消息未证实。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
阿里Qwen又悄悄放出8个开源权重，卷疯了~
阿里通义千问太卷，悄悄放出8个开源模型权重，包括体积更小的Qwen3-VL及FP8权重。这一代实现全方位升级，提供两种架构、两个版本，架构也有更新，还给出使用示例与模型权重链接。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。