「内存节省」共找到 294 篇相关文章
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
748GB内存、20P算力，英伟达把数据中心塞进了桌子底下，第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者，首台给了Andrej Karpathy。它有748GB内存、20P算力，用GB300芯片架构。背后是长时运行自主智能体开发需本地算力，英伟达从软硬层面推进。
英伟达新“桌面超算”800GB大内存，满血DeepSeek R1能装1个半
英伟达在Computex大会宣布新办公室落户中国台湾省台北市，还推出多款新品。如面向个人的DGX Station有800GB内存，能跑大模型；面向企业的RTX PRO Server可加速多种用例。此外，还发布新平台、宣布合作等。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
关于内存价格转跌，我们和贸易商聊了聊
3月30日，服务器内存贸易商称内存价格从前几天开始跌，30日跌得最凶。国内DDR4价格跌幅超30%，DDR3价格腰斩，DDR5较坚挺。谷歌新算法引发市场震动，从业者认为DDR4暴跌还有其他原因。