搜索：双层缓存 - AI Reading Hub

「双层缓存」共找到 136 篇相关文章

AI Infra 工程师们如何应对大模型流水线里的“暗涌”？

InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。

文章基于AutoMQ深入剖析将Kafka构建在S3上的挑战与解法。探讨延迟、IOPS、缓存管理等问题，介绍AutoMQ应对策略，如用WAL+S3架构降低延迟、批处理数据减少请求等，还提及Kafka兼容性及跨区流量成本处理。

昨晚，Anthropic发布Fable 5.1和Mythos 5.1，这代沿用Fable 5参数，性能提升聚焦长任务，还降低缓存读取价。它在游戏、视频等多个领域表现出色，与同类模型对比进步明显，虽价格贵，但能力、速度有提升。

本文通过三项独立基准测试，证实相同AI模型下，不同AI编程智能体框架的Token消耗最高相差70倍，分析了成本差异的核心原因，为企业AI成本控制提供可落地的衡量标准。

字节Seed团队联合多校研究，发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区，不同Token位置检索准确率落差最高超40个百分点，揭露了传统长文本评测的盲区，DeepSeek已在V4.1改善但未完全消除缺陷。

近日，面壁发布 MiniCPM4.0 端侧模型，有 8B、0.5B 两种规模。其在基准测试表现出色，长文本推理提速，缓存锐减，还做了架构创新。此外，面壁有自研推理框架，科学化建模产线，6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。