「Memory Bound Kernel」共找到 116 篇相关文章
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠，指出有足够计算资源时可重叠，通过调整`blocks_per_grid`值，观察到不同并行化程度。还提到隐式同步会影响重叠，可启用`per-thread` default Stream 禁用。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
有了它，太丝滑啦，5.3k Star ai-memory！！！
Claude Code 与 Codex 切换时需重述项目情况，5.3k Star 的 ai-memory 解决此问题，它将 Agent 生命周期信息整理成可 Git 管理的 Markdown Wiki，提供可审计的交接班机制。
任何错误只犯一次：TencentDB Agent Memory 的团队记忆实践
文章聚焦 TencentDB Agent Memory 的团队记忆实践，从组织协作现状出发，阐述其原理、结构、构建方法，通过多方面测试验证其价值，提炼出设计原则，指出其核心是治理系统，目标是提升协作带宽。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
跨会话不再「失忆」：openJiuwen社区开源 AutoGenetic Memory，让Agent记忆自主生长
华为openJiuwen社区开源AutoGenetic Memory，让Agent记忆自主生长。它有分层记忆体系、Auto Dreaming等设计，能提升记忆准确率，降低Token消耗，让记忆从被动存储变为可治理、共享和自我演化的核心资产。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现，从Naive Softmax到Triton实现，分析访存量、row索引计算、num_stages作用等，还修复官方年久失修代码，性能测试带宽吞吐提升约4倍。