「显存墙」共找到 106 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
Sand.ai开源发布MagiCompiler：突破局部编译界限，定义训推性能上限
大模型开发者面临速度与显存的两难选择，原生torch.compile有局限。Sand.ai开源MagiCompiler，突破传统编译界限，提出Compiler as Manager理念，解决算力与显存墙难题，性能实测亮眼，且接入简单。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
图灵奖得主杨立昆现场追问：AI 还没越过这 3 道认知墙，谈什么通用智能？
图灵奖得主杨立昆指出AI未越过三道认知墙，即看不懂物理世界、无长时记忆、无推理结构，提出JEPA架构及AMI概念，还建议别卷模型，应卷架构，如探索具身智能等领域。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
9k星星！知名特效团队开源「完美AI绿幕抠像工具」，8G显存的老Mac都能跑
知名特效团队Corridor Digital开源抠像软件CorridorKey，只需8G显存，N卡和Mac都能跑。它针对复杂边缘和色彩溢出问题提供解决方案，能精准捕捉发丝级细节，功能强大。
24小时直播，只靠一张照片？虎牙实时多模态数字人VAM 1.0率先突围行业三堵墙
虎牙推出实时多模态数字人VAM 1.0，只需一张照片就能转化成能说会唱、可实时互动的数字人。它解决了AI数字人行业的时间、交互、部署三堵墙，稳定性、交互精度和响应速度表现出色，应用场景广泛。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺
Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。