推荐文章8
NVIDIA：大规模EP优化技术创新揭秘
GiantPandaLLM
AI 摘要
NVIDIA技术沙龙介绍大规模EP优化方案：PD分离等五项关键技术创新，可优化GPU利用率、提升吞吐量。对比多模型架构，展示推理服务架构性能特点与优化策略，各项技术结合构成高效推理系统。
阅读原文 · GiantPandaLLM
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态9
SGLang CUDA流过多问题排查修复
本文分析SGLang运行DeepSeek-V4.1时，CUDA Graph出现上百条decode CUDA流的问题成因，介绍开源PR的修复方案，分享了压缩profiler显示行数的实用脚本方法。
GiantPandaLLM
推荐文章8
免费AgnesCode战Codex不落下风
本文实测免费AI Coding Agent AgnesCode搭配Agnes 3.0 Flash，对比付费Codex组合在DeepSeek-V3底层算子多芯片优化任务中的表现，验证免费Agent胜任底层AI工程的能力，分享实测数据与行业洞察。
AI科技评论
新闻资讯8
李柏依ECCV：机器人还得学会听
本文整理了NVIDIA Research科学家李柏依在ECCV 2026 Workshop的分享，针对机器人训练数据采集壁垒高的问题，介绍了两项解决多模态感知与灵巧操作数据难题的前沿研究。
AI科技评论
开源动态9
SGLang优化DeepSeek-V4.1达764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤
GiantPandaLLM