推荐文章8
姜慧强：KV Cache 优化破解长上下文难题
AI前线
AI 摘要
微软姜慧强在 AICon2025 指出，长上下文大语言模型有计算和内存挑战。他分享 SCBench 基准测试工具，介绍 KV Cache 全生命周期优化方法，如 MInference 等，还提出新方法并得出关键结论。
阅读原文 · AI前线
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
字节Seed发现DeepSeek-V4周期性弱点
本文解读字节Seed团队的研究发现，解释了DeepSeek-V4模型因分块KV Cache压缩存在周期性性能波动，并给出普通用户可直接使用的应对技巧。
MacTalk
产品应用8
华为升级AI数据平台解决Agent痛点
本文针对企业落地AI Agent遇到的知识口径不一、推理慢、风险不可控等痛点，介绍华为AI数据平台三大升级路线，结合案例说明方案价值。
InfoQ
产品应用9
拆解Gemini 3.8 Live：Agent需Runtime
本文深度拆解Google发布的Gemini 3.8 Live，分析其将语音、推理、工具调用整合进持续运行链路的架构创新，探讨Voice Agent进入Runtime阶段的核心技术挑战与未来AI Agent发展趋势。
AI科技评论
产品应用8
AI缓存不该困在单台服务器
本文分析大模型推理阶段KV缓存的行业痛点，指出传统单机缓存孤立无法跨节点复用的问题，介绍焱融科技的分层共享缓存方案，公开了方案的实测性能数据，展现AI存储的新发展方向。
InfoQ