「fp8 quant kernel」共找到 81 篇相关文章
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系，有五大核心亮点。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
刚刚！微软 | 发布全新一代自研AI芯片Maia 200
微软提前发布自研AI芯片Maia 200，基于台积电3纳米工艺，性能超竞品，是其异构AI基础设施重要部分，将支持多个大模型，已部署在美中数据中心，还开放Maia SDK预览。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
本地LLM万字救场指南来了！全网超全AI实测：4卡狂飙70B大模型
文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。
智能体框架的选择：一文读懂9个主流AI智能体框架
文章深入探索截至2025年11月的9个主流AI智能体框架，阐述成熟AI框架核心要素，分析各框架优劣势、适用场景，助读者选适合团队和业务的框架。
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。