「Memory Bound Kernel」共找到 116 篇相关文章
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
Agent 真正的护城河，正在从工具转向记忆资产
2026年初，Anthropic用Claude Cowork引发AI创业热点，其计划引入知识库获“永久记忆”能力，将Agent Memory探索推到前沿。文章探讨独立Memory层成必需品的原因、工程化记忆系统的能力，还对比模型厂商和第三方中立派路线。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
Agent = LLM + Memory + Planning + Tool Use
文章指出LLM设计无状态，产生幻觉，超长上下文窗口也无法解决记忆问题。介绍人类记忆的三个系统，阐述Agent记忆四层演化及每层问题，推荐开源项目Cognee将向量、图、关系型结合互补。
2026 年做搜索就是做 Agent Memory
本文整理自Elastic全球副总裁肖涵演讲，讲述AI搜索发展历程，指出2026年做搜索基本是做智能体记忆。分析智能体记忆痛点、表征、遗忘等问题，介绍Jina AI相关模型，梳理记忆产品分类与工作流，给出行业观点与建议。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
LangChain Memory 太弱？试试用 MemOS 构建 Agent 专属的“记忆图谱”。
文章聚焦 MemOS 开源框架，深入体验其记忆“图谱”能力，探讨将它集成到基于 LangChain1.x 框架构建的智能体的方法。介绍了基于记忆“图谱”构建 ChatBot、体验记忆“图谱”自动重组，以及集成到 LangChain 智能体等内容。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。