「带宽利用率」共找到 81 篇相关文章
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
美光沉迷制造“电子黄金”，不在乎AI泡沫
当地时间12月17日盘后，美光2026财年第一财季多项业绩指标超预期，营收和利润大涨。美光不相信“AI泡沫”，其业绩增长源于AI驱动的高带宽内存需求爆发。美光预计HBM市场规模将快速增长，还进行了产品结构优化。
当英伟达收购Groq引发行业震动，中国存算一体赛道正在发生什么？｜甲子光年
2025年底英伟达200亿美元收购Groq，让存算一体成产业刚需。传统GPU受存储墙限制，算力利用率低。Groq采用SRAM成本高，而亿铸科技以消费级显卡价格提供H卡性能，兼容CUDA，或成产业真需求。
算力稀缺时代，如何把 GPU 用“满”
在 GPU 稀缺且利用率低的背景下，本文分析其‘用不好’的原因，探讨业界共享技术方案的局限。以腾讯云 TencentOS qGPU 为例，解析内核态虚拟化及在离线混部技术，还介绍其在多行业降本增效的实践。
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
以加代乘？华为数学家出手，昇腾算子的高能设计与优化，性能提升30%！
大模型落地面临推理难题，华为团队基于昇腾算力发布三项硬件亲和算子技术研究，包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术，实现能效、协同和速度突破，未来将拓展应用场景。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载，分析共享文件系统类别，给出比较视角，解读各负载测试结果并总结选型要点。
专访｜两位华人主导创办，Jeff Dean参投，伯克利开源项目SkyPilot转型初创
前沿模型团队算力瓶颈从不足变为分散，开源AI算力调度项目SkyPilot应运而生。7月末，它从高校走出成为初创公司，完成2000万美元种子轮融资。其免费版与商业版各有侧重，切入AI编排赛道潜力大。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。