「双层缓存」共找到 126 篇相关文章
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
分享6个平时我最常用的Prompt心法。
作者作为常靠AI帮忙的普通用户，分享6个与AI对话的心法技巧。包括让AI选角色回答、回答前追问、与AI辩论、预演失败、反向推提示词和双层解释法，助大家与AI有效协作。
登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini
加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。
Manus首次揭秘：Agent的关键在上下文工程
Agent成大模型主战场，构建方法待探索。Manus发blog揭秘，认为成功的AI Agent依赖上下文工程。团队选此实现快速迭代，虽实践不易，但总结出围绕KV缓存设计等关键点，其经验影响Agent表现。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
登上 GitHub 日榜 TOP5，收获 1.2 万标星的自动剪辑视频开源工具。
video-use是browser-use团队开源的自动剪视频项目，登上GitHub日榜TOP5、获1.2万标星。它改变剪辑交互方式，让用户描述意图，有智能剪辑、调色等功能。技术亮点是双层读取系统，成本和效率更优。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
谷歌一篇论文引爆存储芯片崩盘！AI内存需求暴降6倍，推理狂飙8倍
谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。
AI邪修时刻！Meta联手MIT投毒，左脚踩右脚强行升天
Meta的SOAR架构用错误率高的数据让模型推理能力暴涨9.3%。它选难题子集，用‘教师模型’生成含错题的‘垫脚石问题’，通过‘双层博弈’和‘有根奖励’机制让模型进步，或成AI进化新方向。