「内存带宽」共找到 236 篇相关文章
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
软银与英特尔合作，开发AI存储芯片
Nikkei消息，软银与英特尔宣布成立合资公司Saimemory，开发适用于AI的堆叠式动态随机存取存储器原型，目标两年内降低50%功耗，实现与高带宽内存相当性能。双方注资7000万美元，各有布局目的。
27亿美元天价回归！谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步
在Hot Chips 2025上，Transformer发明者之一、谷歌Gemini联合负责人Noam Shazeer指出LLM发展需更多算力、内存等硬件支持。微软AI的CEO Mustafa Suleyman预测2026年底前LLM或成“行动型AI”，还提及失业潮等问题。
一文读懂：GPU到底是怎么工作的？
文章详细介绍GPU工作原理，对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题，还分析FLOPS、延迟、内存等因素对性能的影响，最后讲了GPU通过多线程和超量订阅获高吞吐量。
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
关于内存价格转跌，我们和贸易商聊了聊
3月30日，服务器内存贸易商称内存价格从前几天开始跌，30日跌得最凶。国内DDR4价格跌幅超30%，DDR3价格腰斩，DDR5较坚挺。谷歌新算法引发市场震动，从业者认为DDR4暴跌还有其他原因。
苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
SK 海力士，市值突破4000亿美元
1月27日，SK海力士股价创新高，市值达4031亿美元，三年涨10倍。因AI基建投资扩张，内存芯片供应紧缺。传其为微软供芯，韩媒称它和三星提高LPDDR内存价，或影响iPhone 18价，还将发高额奖金。
GPU-MODE Leaderboards之vector_add histogram 以及一些有趣发现
文章介绍GPU-MODE Leaderboards中vector_add和histogram任务。分析vector_add实现、带宽利用率，rank1代码用cccl，带宽利用率超80%；histogram算子瓶颈在atomic冲突等，rank1也多用cccl，还给出rank2代码，最后提及任务中Hack行为及代码提交方式。