算法论文8
百度:ESS方案突破DeepSeek-V3.2-Exp显存瓶颈
InfoQ
AI 摘要
百度百舸AIAK团队:针对DeepSeek-V3.2-Exp设计ESS方案,通过卸载预取Latent Cache突破显存瓶颈,模拟验证显示能大幅提升吞吐,未来将拓展至更多大模型。
阅读原文 · InfoQ
突破显存瓶颈:基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp,设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈,提升Decode吞吐并降低成本,经模拟验证效果显著,未来将拓展应用。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
DeepSeek-V3.2-Exp:稀疏注意力破长文本效率瓶颈
在NLP领域,处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型,引入稀疏注意力机制,在保持性能同时提高长文本处理效率,降低计算复杂度,在多基准测试中表现良好。
CourseAI
算法论文9
苹果LensVLM:长上下文的放大镜
本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案,针对长上下文压缩易丢失关键信息的痛点,提出将长文本压缩为图像、模型按需展开细节阅读的新思路,相关研究已被NeurIPS 2026接收,公开了模型、代码与可体验Demo。
机器之心
算法论文8
Token压缩率飙升60% 大模型分词革新
当前大模型效率优化多聚焦降低单位Token计算存储开销,本文解读arXiv新预印论文,针对传统BPE分词的固有局限,提出CNF-MCE分词框架,可大幅提升Token压缩率,开辟大模型效率优化新路径。
InfoQ
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心