「decode 吞吐」共找到 73 篇相关文章
谷歌云推出面向毫秒级延迟工作负载的 Rapid Storag
在 Google Cloud Next 2025 大会上，谷歌云推出 Rapid Storage，为频繁访问数据和延迟敏感应用提供毫秒级数据访问，有低延迟、高吞吐量等特点，还与亚马逊 S3 Express 被比较，目前处于预览阶段。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
ICML 2026 | 拒绝盲目猜token，阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
OpenAI推出GPT-5.4 mini/nano；MiniMax发布M2.7；小米发布MiMo-V2系列模型
OpenAI、MiniMax、小米陆续发布新模型。OpenAI推GPT - 5.4 mini与nano，优化速度和成本；MiniMax的M2.7能自我演化；小米MiMo - V2系列覆盖智能体核心、全模态理解和情感语音合成。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
闭源RSI的严父来了：18个Agent自主科研，Kimi K3靠Harness逼近Opus 5
开源AI基础设施公司Prime Intellect研究表明，借助多智能体Harness，让开源模型负责监控和实现，可让‘AI开发AI’更便宜、效果更好。实验中，Kimi K3搭配Harness逼近Opus 5。
补齐OpenClaw进化拼图！AReaL v1.0开源，智能体强化学习「一键接入」
2026 年 Agent 仍是热门赛道，OpenClaw 热度持续。但 Agent 强化学习训练缺乏成熟体系。蚂蚁和清华联合打造的 AReaL v1.0 开源，实现 Agent 一键接入 RL 训练，还革新了训练引擎，降低开发门槛。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。