「GPU内存共享」共找到 732 篇相关文章
豆包背后的“超算大脑”:字节ByteRobust系统跑20多万张GPU,性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025,部署于超20万张GPU平台,9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障,由控制和数据平面构成,能自动发现修复故障,提升训练效率与稳定性。
无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码
港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。
谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。
阿里云秘密武器亮相顶会:狂砍82%英伟达含量,213块GPU干了1192块的活
阿里云与北大合作,由CTO周靖人带队的研究提出GPU池化系统Aegaeon,亮相顶会SOSP。它用token级自动扩缩容技术,将GPU使用量从1192个减到213个,提升了资源利用率,还在百炼平台测试成功。
刚刚,国产GPU赛道又跑出一个 2700 亿估值独角兽!“中国AMD”沐曦股份完成 IPO,开盘大涨超 500%
2025年12月沐曦登陆科创板,股价达679元/股,估值破2700亿。其定位全栈GPU提供商,产品覆盖多领域。2022 - 2024年营收三年复合增长率超4000%,但累计净亏损超30亿。核心团队多来自AMD。
谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。
业内首推“共享存储”,OceanBase何以办到?
5月17日,OceanBase在开发者大会推出“共享存储”产品,实现对象存储与事务型数据库深度集成,降低存储成本、提升弹性。它解决了传统架构瓶颈,靠多项技术创新落地OLTP生产环境,适用于多业务场景。
无需租GPU,一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B,总参数 35B,激活 3B。它在智能体编程上超越前代,可与稠密模型媲美,支持多模态,已在 Qwen Studio 上线,还能集成第三方编程助手。
现代GPU体系结构Cache Operators行为研究
本文基于Compute Capability 8.9的L20 GPU进行实验,对NVIDIA PTX Cache Operators行为做进一步探究,验证了STG指令命中L1 Cache时执行Write Through等结论,还提出了遗留问题待解决。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例,对比普通和向量化版本,通过查看SASS代码,解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。