「CUDA graph」共找到 122 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
老黄大出血！OpenAI背刺英伟达，微软自研芯连夜拆掉CUDA护城河？
2026年1月26日微软官宣第二代自研AI芯片Maia 200上线，还推出软件Triton。它塞满SRAM，推理成本更低、效率更高。这让英伟达面临生存危机，AI算力圈也变天，降本成关键。
老黄喝豆汁「破防」背后，国产GPU正在填上CUDA护城河
老黄喝豆汁刷屏，但更值得关注的是国产GPU生态。摩尔线程发布会展示MUSA生态，实现全方面覆盖，从兼容到自进化，在云端、端侧应用出色，还打通全链路，且未用最强架构。
下一代超算，GPU得配QPU：老黄要把量子计算机和GPU「焊」在一起了
在VivaTech 2025会上，黄仁勋发布面向量子计算的革命性平台CUDA - Q。回顾英伟达CUDA - X套件及关键库，强调量子计算“拐点”，描绘QPU与GPU协同蓝图，宣布算法堆栈在Grace Blackwell 200加速。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
Fable 5手搓首个CUDA「超级内核」！2.5小时狂飙18.7倍
在GPU算子基准测试KernelBench - Mega中，Fable 5全程纯手搓CUDA，速度狂飙18.7倍，把GPT - 5.5甩开4倍多。它写出史上首个‘超级内核’，2.5小时约55万token完成编写。Anthropic联创称这标志‘RSI循环’开启。
中国19岁常青藤少年重塑AI记忆，斩获各大榜单全球第一，点亮AI联想科技树
M-Flow记忆引擎引发海外开发者社区热议，GitHub star破千，在三大公开benchmark评测中夺冠。它由19岁团队心流元素开发，采用Cone Graph分层结构，实现Graph RAG新范式，更注重联想，而非单纯搜索。
黄仁勋交流会万字实录：谈中美芯片、H20、CUDA兼容，点赞DeepSeek、Qwen和Kimi
英伟达CEO黄仁勋在华媒交流会上称，中国供应链发达、AI人才多、电动汽车发展出色，H20芯片解禁，英伟达会继续投资。他还谈到CUDA兼容、中美贸易等问题，鼓励年轻人投身AI。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。