「decode 吞吐」共找到 73 篇相关文章
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
Flash-Searcher：Web Agent的并行革命
当下Web智能体用顺序执行链解决复杂任务存在执行和信息利用率低的问题。为此提出Flash - Searcher，以DAG并行执行机制为核心，提升执行吞吐与速度，在多基准上表现优，代码已开源。
阿里云秘密武器亮相顶会：狂砍82%英伟达含量，213块GPU干了1192块的活
阿里云与北大合作，由CTO周靖人带队的研究提出GPU池化系统Aegaeon，亮相顶会SOSP。它用token级自动扩缩容技术，将GPU使用量从1192个减到213个，提升了资源利用率，还在百炼平台测试成功。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
牛芯国产先进工艺 DDR5/LPDDR5 IP双双突破6400Mbps
随着人工智能等领域发展，系统对数据吞吐能力需求攀升。牛芯半导体基于国产先进工艺研发DDR5/LPDDR5 IP，实现6400Mbps高性能验证，通过创新弥补工艺代差，打通国产链路，具成本和安全优势。
一个月的活一周干完！英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。