「KV 缓存缩减」共找到 159 篇相关文章
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
阿里权力交接全解读：9人出局、蒋凡上位、3800亿豪赌AI—投资者必读深度研报
过去两年，阿里经历权力重组，合伙人缩减，蒋凡上位，吴泳铭押注3800亿AI。从“分封制”回归“集权制”、从运营驱动转向AI驱动，本文拆解变革，给出投资判断，分析各业务板块营收、竞争力，推演未来情景并提示风险。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
独家丨小鹏机器人团队“广招兵马”，原字节 Seed 陈杰已加入
AI科技评论独家消息，小鹏机器人团队正招人，原Seed强化学习大佬陈杰已加入。此前鹏行团队规模有过缩减，如今行业竞争加剧，其重又开启招兵买马。小鹏在机器人领域投入已久，何小鹏还表示会继续加大投入。
深度剖析将 Kafka 构建在 S3 上的技术挑战与最佳实践
文章基于AutoMQ深入剖析将Kafka构建在S3上的挑战与解法。探讨延迟、IOPS、缓存管理等问题，介绍AutoMQ应对策略，如用WAL+S3架构降低延迟、批处理数据减少请求等，还提及Kafka兼容性及跨区流量成本处理。
顶模 Fable 5.1发布，到底强了多少？
昨晚，Anthropic发布Fable 5.1和Mythos 5.1，这代沿用Fable 5参数，性能提升聚焦长任务，还降低缓存读取价。它在游戏、视频等多个领域表现出色，与同类模型对比进步明显，虽价格贵，但能力、速度有提升。
模型一模一样，Token 却相差 70 倍？三项实测揭开 AI 编程工具的成本黑洞
本文通过三项独立基准测试，证实相同AI模型下，不同AI编程智能体框架的Token消耗最高相差70倍，分析了成本差异的核心原因，为企业AI成本控制提供可落地的衡量标准。
长文本推理 5 倍提速！面壁MiniCPM4 端侧模型发布，0.5B模型效果秒杀同级
近日，面壁发布 MiniCPM4.0 端侧模型，有 8B、0.5B 两种规模。其在基准测试表现出色，长文本推理提速，缓存锐减，还做了架构创新。此外，面壁有自研推理框架，科学化建模产线，6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。