「显存」共找到 86 篇相关文章
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？
文章指出企业训练多模态助手，30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择，但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题，还介绍其性能、优势、适用场景及服务等。
一个场景吃掉700MB显存！3DGS存储焦虑怎么解？这篇综述划了五个方向
过去三年，3D Gaussian Splatting（3DGS）成实时3D场景重建与新视角合成“默认答案”，但场景拓展后有显存、带宽和功耗限制。香港科大等联合发布综述，从底层数据流组织技术版图，给出优化建议和未来方向。
Sand.ai开源发布MagiCompiler：突破局部编译界限，定义训推性能上限
大模型开发者面临速度与显存的两难选择，原生torch.compile有局限。Sand.ai开源MagiCompiler，突破传统编译界限，提出Compiler as Manager理念，解决算力与显存墙难题，性能实测亮眼，且接入简单。
Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺
Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
13.8K star！！6G显存就能跑的AI视频神器，支持1分钟生成，这么6？！
现在AI视频生成领域仍面临高算力需求挑战，斯坦福大学研究团队推出`FramePack`项目，降低了本地AI视频创作硬件门槛，有低硬件需求、高效生成速度等特色，操作也简单。
国产GPU芯动科技发布最新芯片，单卡直接堆上了112GB以上的超大显存
9月22日，芯动科技在珠海正式发布“风华3号”全功能GPU，它有诸多亮点，如集成国产RISC - V CPU与兼容CUDA的GPU、原生支持DICOM显示等，还构建了国产GPU完整生态。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。