「显存瓶颈」共找到 664 篇相关文章
无限长、零掉帧！StableAvatar口型同步全新技术
当前音频驱动头像视频生成扩散模型合成长视频时难兼顾音频同步与身份一致，瓶颈在音频建模。复旦大学提出StableAvatar，首个端到端视频扩散Transformer，能无限时长生成，还介绍原理与演示效果。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
推理时间减少70%！前馈3DGS「压缩神器」来了，浙大Monash联合出品
在AR、VR等领域，3DGS是新视角合成（NVS）领域备受关注的技术方案。现有前馈3DGS模型存在编码器容量有限等问题，ZIP Lab和Monash团队引入信息瓶颈原理，推出轻量级模块ZPressor，有效解决信息过载难题。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
Sand.ai开源发布MagiCompiler：突破局部编译界限，定义训推性能上限
大模型开发者面临速度与显存的两难选择，原生torch.compile有局限。Sand.ai开源MagiCompiler，突破传统编译界限，提出Compiler as Manager理念，解决算力与显存墙难题，性能实测亮眼，且接入简单。
腾讯提出SPO，告别Group
腾讯团队提出Single - stream Policy Optimization（SPO），回归单流策略梯度范式，解决组基方法瓶颈。它有多项亮点，如告别组同步、采用自适应价值跟踪等，在实验中提升了模型性能和训练吞吐。
吴恩达来信：与小团队更适配的“通才”人才
吴恩达指出AI原生软件工程团队与传统团队运作不同，使用编程智能体构建产品更快，也带来运营变化。团队要应对项目管理、设计、营销、合规等瓶颈，‘通才型人才’在小团队更具优势。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
代码怎么才能跑的更快
文章围绕让代码跑更快展开，先介绍调整源代码的方法，如降低循环开销、去除内存引用等，又阐述使用硬件加速指令，像用 SIMD 函数、避免分支语句等，还提及多核并行和分析瓶颈等要点。