「decode 吞吐」共找到 73 篇相关文章
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
不换GPU，性能飙升2.8倍！英伟达用软件暴打摩尔定律
2026年1月8日，英伟达官网披露，基于Blackwell架构的推理软件栈升级，让混合专家模型（MoE）推理效率迎「阶跃式」突破，单GPU吞吐飙升2.8倍，显著降低推理成本。其通过软件针对性升级发挥硬件潜力，还进行多项优化。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
2.12页/秒，MinerU2.5太快了，1.2B硬刚腾讯、阿里
GPT - 4o等刷新OCR榜单，但产业界仍面临文档图像处理难题。MinerU2.5提出1.2B轻量级文档解析模型，采用创新解耦范式，在多基准测试表现出色，单卡吞吐快，还给出可借鉴创新点。
突发！OpenAI「掀桌」：自研推理芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。
超越RAG和DAPT！华人团队新研究引热议：即插即用、无需改变原参即可让模型化身领域专家
华人团队提出比DAPT和RAG更方便、成本更低的方法，即“Memory Decoder”预训练记忆模块。它像“领域知识插件”，即插即用、不改原参，能让Qwen、Llama等模型成领域专家，还降低困惑度。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
The Batch: 977 | AI 对速度的需求为何如此迫切
开发者如今需更关注AI速度。OpenAI和Cerebras的Ultrafast、Google的Gemini 3.7 Flash、Nvidia的Nemotron 3.5 Lightning都主打速度。速度在AI领域对应延迟和吞吐量，影响应用体验和范围。
新的 Rust 客户端致力于实现基于 Aerospike 的安全、高性能应用
Aerospike正式发布Rust客户端，用于与其实时NoSQL数据库交互。采用异步优先并发模型，支持批命令等。还将支持分区查询等功能，Aerospike也提供其他客户端库助开发者构建应用。