「GPU kernels」共找到 431 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
禁令之下，黄仁勋再用“阉割芯片”抢夺中国市场
美国芯片出口管制冲击英伟达，其在中国市场损失大、份额降。黄仁勋计划7月推‘阉割芯片’B20、B40/B30抢市场。不同客户有选择倾向，同时国产GPU有机会也面临难题，企业还尝试海外训练模型。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
摩尔线程的野心，不藏了
上市15天后，摩尔线程在首届聚焦全功能GPU的开发者大会上，围绕MUSA推出诸多新品，包括新GPU架构、芯片、智算集群和硬件产品，还将开源核心组件，构建生态，其架构创新定义未来AI产业格局。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
黄仁勋迟到了15分钟，然后甩出一个数字：1万亿美元。
GTC 2026上，黄仁勋获“Token之王”称号。他预计英伟达到2027年营收至少1万亿美元，还展示商业定价模型，推出Vera Rubin系统，整合Groq芯片，开源OpenClaw，预告Feynman架构，开发太空数据中心。
最新原生端到端OCR开源项目！
腾讯开源最新原生端到端OCR：HunyuanOCR，仅1B参数，OmniDocBench得分94.1超竞品，功能覆盖全场景。还介绍了DeepSeek - OCR的桌面客户端，支持拖拽识别、导出文件等。
极低成本，复现GPT-4o图像风格化一致性！NUS推出OmniConsistency
NUS ShowLab 推出 OmniConsistency，解决开源扩散模型在图像风格化一致性上与商业 API 的差距。它成本低，能在保持风格化效果时精准保留图像细节等，还解决了风格化与一致性的跷跷板问题，且兼容性强。