开源动态8
SGLang复现DeepSeek推理框架
GiantPandaLLM
AI 摘要
SGLang 团队在 96 个 H100 GPU 部署 DeepSeek,用 PD 分解和专家并行技术,实现高吞吐量,成本仅为官方五分之一。组件全开源,不过存在延迟、序列长度等问题待优化。
阅读原文 · GiantPandaLLM
SGLang Team:在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性,SGLang 实现高吞吐量,成本低。博客探讨并行设计、优化方法,所有组件开源,也指出了当前局限与未来方向。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
字节发现DeepSeek弱点 实测V4.1结果不同
本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点,作者复刻实验实测现役DeepSeek V4.1-Flash,讨论了长上下文评测的盲区,新版本弱点已明显减轻。
AI科技评论
新闻资讯9
GPT-6 Astra证明57年摆圆难题
本文报道了数学爱好者nor借助GPT-6 Astra,完成了搁置57年的“圆内摆圆”问题中N≤20剩余5种情况的严格最优性证明,展现了AI在数学研究领域的新应用。
量子位
新闻资讯9
字节Seed实习生曝DeepSeek-V4技术缺陷
本文报道字节跳动Seed团队联合多校研究者,发现DeepSeek-V4因分块KV缓存压缩设计存在长文本检索周期性盲区,深入拆解缺陷根源,曝光传统大模型长文本评测的盲区。
InfoQ
算法论文9
RoboFoundry让具身智能自主进化
多家国内外高校和机构提出全新具身智能框架RoboFoundry,固定基座模型参数,仅进化模型周边的系统组件,实现具身智能体自主迭代升级,多项基准测试和真机实验性能提升显著。
机器之心