「KV Cache流量」共找到 194 篇相关文章
Cloudflare 年度回顾：AI 机器人疯狂爬网、后量子加密普及率达 50%、Go 语言用户翻倍
近日，Cloudflare发布第六版Radar年度回顾报告。显示全球互联网流量增长19%，Googlebot爬取引流比攀升，后量子加密普及，Go语言客户端发起API请求占比近翻倍，还提及各类网络技术及事件情况。
海外chatgpt/gemini的SEO/GEO优化建议
Similarweb 1 月 2 日发布 AI 全球趋势报告，复盘多赛道流量变化。通用 AI 市场竞争激烈，ChatGPT 流量降 22%，Gemini 增 49%；垂直领域头部效应明显。还给出 SEO 和 GEO 优化建议。
为什么Cloudflare无法阻止Google为AI 模型爬取网站数据？
Cloudflare推出阻止AI爬虫抓数据功能，却对Google无效。因Googlebot身兼两职，Cloudflare难区分其请求目的。出版商流量因Google AI功能下降，网站主在被剥削和失去流量间两难。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
AI正在埋葬整个互联网的商业模式！
AI正改写全球网站流量格局，让传统流量模式失效，广告收入蒸发。它带来新规则，如智能体即买手、决策即交易等。企业应将产品服务塞入AI对话路径，普通人也可凭信任溢价等不被碾压。
当AI应用都在「撒钱」时，谁来扛住千亿交互背后的算力大考？
春节将至，AI应用竞争激烈，各大厂商纷纷「撒钱」。行业预测除夕当晚主流AI应用交互量或破千亿次，考验底层算力。Remy爆火时，共绩科技助其扛住流量冲击，其弹性算力调度优势明显，适合春节流量洪峰。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
DeepSeek 复盘：128 天后，为什么用户流量一直在下跌？
文章深入分析DeepSeek和Anthropic策略，揭示行业计算资源稀缺难题。指出AI服务定价是延迟、吞吐量、上下文窗口三个指标的权衡，DeepSeek牺牲体验换研发，Anthropic提升‘智能密度’优化资源。
DeepSeek流量暴跌？AI大模型全球霸主离奇遇冷，外媒曝出真相
曾以低价高性能出圈的DeepSeek，在自家平台遇冷、市场份额下滑，但其R1和V3模型在第三方平台使用量增长近20倍。背后是‘Token经济学’及战略转移，它开源模型，将算力留作研发。Anthropic也因算力受限有类似问题。