「分块驱逐」共找到 24 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
RAG效果不佳？先别急着微调模型，这几个关键节点才是优化重点
文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。
"将注意力旋转90°"：深入浅出解读 Kimi 最新出圈成果
Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。
字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入“周期性盲区”
字节Seed团队联合多校研究，发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区，不同Token位置检索准确率落差最高超40个百分点，揭露了传统长文本评测的盲区，DeepSeek已在V4.1改善但未完全消除缺陷。
OpenClaw带火AI记忆，DeepMind用混合记忆把3D重建拉到近2万帧
近期，全球爆火的 Agent 私人助手 OpenClaw 接连更新，其长期记忆能力获关注。谷歌 DeepMind 联合加州大学伯克利分校提出 LoGeR 架构，将 3D 重建扩展到极长序列，在多数据集上表现超越先前方法。
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
semianalysis 长文 | 关于Meta 砸钱、抢人、领导力、建帐篷、计算、数据和超级智能
Meta在基础模型性能落后，扎克伯格亲自挂帅开启AI军备竞赛。他砸钱收购、挖人、堆算力，建GPU集群，还面临Llama 4失败问题，试图通过一系列举措追赶超级智能。
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。