「HBM带宽」共找到 52 篇相关文章
开源动态8
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
AI科技评论
产品应用8
牛芯PCIe IP再进阶：从PCIe 5.0迈向PCIe 6.0，释放AI时代超高速互联潜能
AI大模型发展推动算力对互联带宽需求提升，牛芯半导体完成自研PCIe 6.0 PHY IP研发，构建了覆盖PCIe 3.0到6.0的完整高速互联IP产品矩阵，为国产高端芯片提供自主可控的超高速互联方案，目前已开放客户技术评估。
芯师爷