「CUDA」共找到 96 篇相关文章
“客户测950，不到一周下单了”，DeepSeek V4 逼出昇腾真功夫
昇腾计算业务副总裁张良透露昇腾近期销量好、认可度提高，大量客户基于其做训练。DeepSeek V4 考验昇腾，其超节点产品均支持。昇腾还对芯片体系和软件栈升级，拒绝仿 CUDA，坚持自主构建生态。
努力的黄仁勋，能守住4万亿吗？
黄仁勋今年第三次访华，期间英伟达H20芯片对华出口通道再次打开。此前美国制裁使英伟达中国业务停滞，计提损失。中国市场对英伟达重要，但其特供芯片面临国产替代竞争，CUDA生态也受挑战。
一文看懂英伟达的产品体系和命名规则
文章由小枣君撰写，详细梳理英伟达产品体系和命名规则，涵盖算力芯片、超级芯片、超级计算机平台等，介绍各层级产品特性，还提及通信技术、开发框架CUDA，助读者清晰了解英伟达产品。
英伟达不是被计划出来的
英伟达成全球首个市值破5万亿美元企业，打破企业体量天花板想象。其GPU起初为游戏而生，CUDA曾是失败项目，却因深度学习需求成AI关键。其崛起证明伟大难被计划，创新源于多元互动。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
深度拆解沐曦MXMACA软件栈功能，算力自主+生态兼容，破解国产GPU落地难题
近日，刚 IPO 的沐曦股份发布 MXMACA 软件栈 3.3.0.X 版本。该软件栈可实现多语言支持、算子自动优化与跨框架平滑适配，能让现有 CUDA 项目近乎‘开箱即用’迁移，还兼容主流 AI 框架，助力国产 GPU 解决落地难题。
黄仁勋 × Lex Fridman：NVIDIA 4 万亿市值背后的 AI 革命
黄仁勋与Lex Fridman进行两小时访谈，从Amdahl定律聊到人类意识。谈及NVIDIA发展，如CUDA决策致市值下跌后回升；提出AI扩展定律，认为智能由算力决定；还分享管理、技术预判等看法及对中国创新的评价。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。