「显存压缩」共找到 303 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
DeepSeek开源新模型，提出上下文光学压缩：LLM的新记忆方式
DeepSeek开源OCR模型，探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens，压缩比10倍、准确率97%。还提出模拟人类遗忘等想法，有多种应用场景，且完全开源。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
打破显存墙：谢赛宁团队提出CLM，单卡RTX 4090「撬动」1亿高斯点
3D Gaussian Splatting (3DGS) 是流行的新视角合成方法，但显存容量限制其应用于大型复杂场景。谢赛宁团队提出 CLM 系统，基于 3DGS 稀疏性和空间局部性，减少通信开销，可在单卡 RTX 4090 渲染大型场景。
超越ZIP的无损压缩来了！华盛顿大学让大模型成为无损文本压缩器
华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。
语音界Sora！微软刚开源新模型，一次生成90分钟语音、3200倍压缩率
今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B，有诸多技术突破，如可合成90分钟语音、支持4名发言人、3200倍音频压缩等，还首创双tokenizer协同架构。未来微软还会开源更大参数模型。
推理时间减少70%！前馈3DGS「压缩神器」来了，浙大Monash联合出品
在AR、VR等领域，3DGS是新视角合成（NVS）领域备受关注的技术方案。现有前馈3DGS模型存在编码器容量有限等问题，ZIP Lab和Monash团队引入信息瓶颈原理，推出轻量级模块ZPressor，有效解决信息过载难题。
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。