「CUDA kernel」共找到 126 篇相关文章
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
深度拆解沐曦MXMACA软件栈功能，算力自主+生态兼容，破解国产GPU落地难题
近日，刚 IPO 的沐曦股份发布 MXMACA 软件栈 3.3.0.X 版本。该软件栈可实现多语言支持、算子自动优化与跨框架平滑适配，能让现有 CUDA 项目近乎‘开箱即用’迁移，还兼容主流 AI 框架，助力国产 GPU 解决落地难题。
黄仁勋 × Lex Fridman：NVIDIA 4 万亿市值背后的 AI 革命
黄仁勋与Lex Fridman进行两小时访谈，从Amdahl定律聊到人类意识。谈及NVIDIA发展，如CUDA决策致市值下跌后回升；提出AI扩展定律，认为智能由算力决定；还分享管理、技术预判等看法及对中国创新的评价。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
信息量极大！黄仁勋最新论断：AGI已实现，OpenClaw是AI界iPhone，未来将有10亿程序员
黄仁勋与Lex Fridman深度对谈，分享英伟达发展历程、管理方式、技术趋势等见解。他认为AGI已实现，OpenClaw是Token时代的iPhone，未来将有10亿程序员。还探讨了算力瓶颈、供应链、电力等问题。
智能体框架的选择：一文读懂9个主流AI智能体框架
文章深入探索截至2025年11月的9个主流AI智能体框架，阐述成熟AI框架核心要素，分析各框架优劣势、适用场景，助读者选适合团队和业务的框架。
联手诺基亚入局6G，老黄要制定全球标准！GTC最新演讲揭秘：「美国科技的未来」就靠这6张王牌
老黄在华盛顿 GTC 大会演讲，英伟达要和诺基亚合作干 6G，重新构筑世界通信系统。演讲涉及 6 大核心，包括利用物理人工智能和数字孪生技术重塑美国工业化等，还介绍了加速计算、AI 变革等多方面内容。
腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。