「CUDA kernel」共找到 126 篇相关文章
Fable 5手搓首个CUDA「超级内核」!2.5小时狂飙18.7倍
在GPU算子基准测试KernelBench - Mega中,Fable 5全程纯手搓CUDA,速度狂飙18.7倍,把GPT - 5.5甩开4倍多。它写出史上首个‘超级内核’,2.5小时约55万token完成编写。Anthropic联创称这标志‘RSI循环’开启。
黄仁勋交流会万字实录:谈中美芯片、H20、CUDA兼容,点赞DeepSeek、Qwen和Kimi
英伟达CEO黄仁勋在华媒交流会上称,中国供应链发达、AI人才多、电动汽车发展出色,H20芯片解禁,英伟达会继续投资。他还谈到CUDA兼容、中美贸易等问题,鼓励年轻人投身AI。
黄仁勋发布量子计算专用CUDA!预言量子计算机几年内应用,但现在还离不开GB200
在GTC巴黎演讲中,英伟达CEO黄仁勋预言量子计算机几年内可实际应用,还推出量子-经典加速超算平台CUDA - Q。此外,他提及物理AI是战略核心,有巨大市场机会,还展示多款产品与技术。
AI写CUDA算子准确率92%,到国产芯片只剩4%?上交方法直线拉升,DeepSeek也适用
GPT-5.2写CUDA算子正确率92%,给华为Ascend NPU写算子仅4%,因公开数据少等致‘新硬件冷启动’难。上海交大团队EvoKernel不训新模型、不标新数据,将GPT-5.2正确率从4%拉到83%,还拓展到DeepSeek架构算子。
斯坦福意外用AI生成超强CUDA内核,性能比人类专家优化得还要好!翻倍碾压原生PyTorch,华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的,在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码,还使用多分支探索模式。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算,发现ncu对L20 GPU上特定指令用错误执行延迟算指标,导致异常,还给出GEMM Kernel性能分析建议。
成立7个月首发声!百亿美金独角兽万字雄文:攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果,揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法,还通过实验展示其效果及对同策略强化学习的意义。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR,针对Fused Triton MoE的Down Projection kernel加入TMA优化,在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著,还详细分析了优化背景、思路、实现细节及测试结果。
CUDA再见了!寒武纪亮出软件全家桶
在AI时代,竞争转向软件生态等综合实力。寒武纪亮出软件全家桶,其基础软件平台Cambricon NeuWare日趋成熟。在训推解决方案上成果显著,各组件如驱动、编译器等也有诸多优化和功能,加速产业智能化转型。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例,分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件,介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。