「缓存命中」共找到 118 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
深度解读 DeepSeek V4.1 Flash 全新架构，如何成为显存杀手
本文深度解读DeepSeek最新发布的V4.1 Flash大模型，详解其全新CED架构与第二代压缩稀疏注意力CSA2，揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本，在长上下文Agent场景实现性能反超的细节。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。
Manus：3大核心策略，破解AI Agent上下文膨胀难题
当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。
实测MiMo-V2.6，这个小米直播烧了347万美元训出来的模型到底怎么样？
本文作者实测小米花费347万美元训练的开源大模型MiMo-V2.6，从多类真实场景测试模型能力，分析性能成本与实际体验，给出客观真实的测评结果。
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
揭秘 GitHub 11.1k 让你的存储秒变“万能盘”？JuiceFS：最好用的存储系统能为你带来怎样革命性的提升？
云存储成本高、性能差等问题让人烦恼，JuiceFS 可零代码改造，将对象存储升级为高速共享文件系统。它功能丰富、架构有优势，代码示例简单，适用于多场景，相比竞品优势明显。
都标5美元，账单差三成！OpenAI高管：token从来没法直接比价
OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。