「多级缓存」共找到 108 篇相关文章
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
开启端侧长文本时代！面壁全新架构，让小钢炮最快提升220倍
2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。