「内存节省」共找到 286 篇相关文章
开源动态7
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
GiantPandaLLM
新闻资讯7
AI杀死大学？教授ChatGPT教学逼疯学生，怒告学校讨要8000美元学费！
美国东北大学一名学生发现教授用ChatGPT生成课件，愤而起诉学校讨要8000美元学费。学生认为付高价学费应接受人类教导；教授则称AI可节省时间、充当助教。不同教授对AI使用看法不一，领英联合创始人看好AI在教育的应用。
新智元
算法论文8
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
GiantPandaLLM
算法论文8
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
Agent的潜意识
产品应用7
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
GiantPandaLLM
6
SEO是什么？SEO一般指搜索引擎优化
搜索引擎优化(SEO)是通过分析搜索引擎排名规律，优化网站内容，提高自然排名的技术。它关乎网站能否在行业内占据领先地位，获取品牌收益。但SEO方法有黑白帽之分，选择不慎可能面临搜索引擎惩罚。