推荐文章7
Triton Fused Softmax性能解析
GiantPandaLLM
AI 摘要
DefTruth:详细解析Triton Fused Softmax Kernel,指出其访存量仅为Naive Softmax的1/4,通过多级流水线提升性能,修复官方代码后测试显示带宽吞吐提升约4倍。
阅读原文 · GiantPandaLLM
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现,从Naive Softmax到Triton实现,分析访存量、row索引计算、num_stages作用等,还修复官方年久失修代码,性能测试带宽吞吐提升约4倍。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
实测Vibe Key:开口使唤AI当甲方
本文作者实测优篮子Ulanzi与腾讯WorkBuddy联合推出的Vibe Key AI键盘麦,体验语音调用AI完成创作、办公任务,分析产品优势与不足,给出针对性购买建议。
InfoQ
开源动态9
推理成新中心 AI Infra边界重写
本文基于多开源社区联合大会的行业交流,分析AI落地生产后对基础设施的改变,指出推理成为新中心,Agent提前带出生产级问题,AI Infra边界正被重写。
InfoQ
新闻资讯9
十一假期全球基模决战开启
本文爆料中秋国庆假期前后,海内外多家AI巨头扎堆筹备发布新一代大模型,梳理了硅谷和国内厂商的最新进展,堪称AI圈「基模决战周」。
量子位
产品应用9
用GPT 6 Astra做3D版桃花源记
作者宝玉分享借助GPT 6 Astra与Codex制作可交互3D版《桃花源记》的完整过程,公开可复用提示词模板,提供成品在线体验,分享AI生成交互式内容的实战心得。
宝玉AI