「KV Cache流量」共找到 209 篇相关文章
Google AI搜索革命的代价:网站流量暴跌一半,内容创作者哭了
皮尤研究中心报告显示,Google的AI概览功能使网站点击率狂跌近50%,其扩张速度惊人。用户看到AI概览后倾向直接结束搜索,内容创作者流量和收入锐减。Google回应称研究数据有问题,且AI还存在幻觉隐患。
「纳米香蕉」LMArena两周500万投票,引爆10倍流量!谷歌、OpenAI扎堆打擂台
8月,「纳米香蕉」登顶LMArena文生图像榜单,带动社区流量暴增10倍,月活超300万。其盲测两周吸引超500万次投票。LMArena前身是Chatbot Arena,为大模型提供比拼舞台,厂商借此获曝光和反馈。
Stripe 的零停机数据转移平台以毫秒级流量切换迁移 PB 级数据
在旧金山 QCon 会议上,Stripe 工程师介绍零停机数据转移平台,能 PB 级数据库迁移,流量切换毫秒内完成,支持每秒 500 万次查询和 99.9995% 可靠性。还讲了迁移六阶段及多用途。
每周产业洞察|校园母题与流量要素成为AI短剧行业的爆款公式
近期AI短剧行业数据亮眼,TikTok生态和国内市场规模惊人,但淘汰率也高。其有“校园母题+流量要素”爆款公式,AI降低制作成本,工具平台参与度加深,且用户画像向男性、游戏用户迁移。
突破显存瓶颈:基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp,设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈,提升Decode吞吐并降低成本,经模拟验证效果显著,未来将拓展应用。
AI Agent的上下文工程:构建Manus的经验教训
上下文工程是AI智能体的“系统一”,决定其速度、恢复力与扩展边界。Manus通过试错与用户验证,给出可复用经验,如利用大模型“上下文学习”能力、关注KV - cache命中率等。
字节 Seed 团队发现了 DeepSeek-V4 的一种周期性弱点
本文解读字节Seed团队的研究发现,解释了DeepSeek-V4模型因分块KV Cache压缩存在周期性性能波动,并给出普通用户可直接使用的应对技巧。
来自 Manus 的一手分享:如何构建 AI Agent 的上下文工程?
Manus 公司联合创始人季逸超分享为 Manus 搭建上下文工程的经验。文章探讨构建 AI 智能体时的关键抉择,给出围绕 KV - Cache 设计、通过掩码约束行为等构建原则,助开发者少走弯路。
Google 发了个压缩算法,内存砍 6 倍,速度快 8 倍,精度零损失
Google Research发布TurboQuant压缩算法,将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit,内存降6倍、速度快8倍且精度零损失,解决了传统算法的压缩开销问题。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制:仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型,提出基于 OCR 任务量化注意力头视觉偏好的方法,发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配,经多基准评测,性能和效率表现优。