「缓存加速」共找到 698 篇相关文章
复制失败与脏碎片：Linux 页面缓存漏洞影响所有主流发行版
一周内，两处 Linux 内核本地权限提升漏洞“复制失败”和“脏碎片”被披露，可使无特权本地用户获 root 权限。前者由 Theori 用 AI 工具发现，后者由 Hyunwoo Kim 发布，均影响页面缓存，与“脏管道”属同一类漏洞。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
告别卡脖子，华为黑科技破局！昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。
缓存命中率99.93%！DeepSeek最适合的Harness来了，GitHub狂揽8.6万Star
DeepSeek官方版Harness未出，民间开源编程Agent「Pi」先火。它适配DeepSeek，让其缓存不命中率低至0.03%，调用成本大降。Composio测试显示Pi完成任务平均成本最低。同时，DeepSeek正组建团队做官方Harness。
视频生成太慢？英伟达、谢赛宁等发布TMD框架，实现70倍加速
大规模视频扩散模型采样效率低，应用受限。英伟达联合谢赛宁等提出TMD框架，将大型视频扩散模型蒸馏为少步生成器。实验显示，TMD能实现超70倍加速，质量损失小，用户也更偏好其生成的视频。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
√N并行+84倍计算加速！英伟达港大全新图像注意力：空间结构都保留
英伟达、港大等研究人员提出新型视觉注意力机制GSPN，通过线性扫描和稳定性 - 上下文条件处理图像空间结构，降低计算复杂度至√N量级，在多视觉任务达先进水平，生成16K图像加速超84倍。
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。