「双层缓存」共找到 126 篇相关文章
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。
上下文工程（Context Engineering）综述：大模型的下一个前沿
文章提出“上下文工程”学科，通过整合1400余篇论文构建“基础组件 - 系统实现”框架。它将上下文定义为动态结构化信息集合，揭示LLMs理解强于生成的矛盾，为AI研究指明方向。
Manus：3大核心策略，破解AI Agent上下文膨胀难题
当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。
AAAI 2026 Oral | 悉尼科技大学联合港理工打破「一刀切」，联邦推荐如何实现「千人千面」的图文融合？
悉尼科技大学龙国栋团队联合港理工杨强、张成奇团队提出 FedVLR 框架，解决联邦环境多模态融合异质性难题，被 AAAI 2026 接收。该框架创新性强，可提升推荐指标，代码已开源。
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
揭秘 GitHub 11.1k 让你的存储秒变“万能盘”？JuiceFS：最好用的存储系统能为你带来怎样革命性的提升？
云存储成本高、性能差等问题让人烦恼，JuiceFS 可零代码改造，将对象存储升级为高速共享文件系统。它功能丰富、架构有优势，代码示例简单，适用于多场景，相比竞品优势明显。
都标5美元，账单差三成！OpenAI高管：token从来没法直接比价
OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
我的网站被攻击了48个小时，Claude Fable 5替我防下了这一切。
作者分享网站AIHOT被‘反AI小队’攻击48小时的经历。Claude Fable 5分析出攻击源于服务器共享项目无防护，还发现安全漏洞。在后续攻击中，它多举措防御，展现强大性能。