产品应用7
DGX Spark 跑蚂蚁 Ling 模型提速 42.5%
GiantPandaLLM
AI 摘要
NVIDIA 在 DGX Spark 上运行蚂蚁 124B 开源模型 Ling-3.0-flash,通过三项技术叠加,使单用户真实测试吞吐提升 42.5% 且准确率不变。
MoE 算子加动态 FP8 输出层,配合自带投机解码
投机解码必须共享输出层,否则每秒仅 24 token
算子已入 SGLang 主线,其余修改在蚂蚁开源分支中
阅读原文 · GiantPandaLLM
DGX Spark 跑 124B 的 Ling-3.0-flash:三个优化,单用户每秒 36 → 103 个 token
NVIDIA 在 DGX Spark 上运行蚂蚁 124B 开源模型 Ling-3.0-flash,通过三项技术叠加,使单用户真实测试吞吐提升 42.5% 且准确率不变。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
李柏依ECCV:机器人还得学会听
本文整理了NVIDIA Research科学家李柏依在ECCV 2026 Workshop的分享,针对机器人训练数据采集壁垒高的问题,介绍了两项解决多模态感知与灵巧操作数据难题的前沿研究。
AI科技评论
新闻资讯8
英伟达推理指南:华人团队方案成最优解
9月2日,英伟达技术博客上线《用投机解码做AI模型协同设计》,给出推理加速选型表。列入指南的核心方案多由华人团队主导,介绍了从外置草稿模型到n - gram查表法等方案,还提到硬件常数对模型架构的约束。
新智元
新闻资讯8
OpenAI自研芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。
机器之心
新闻资讯8
英伟达Vera Rubin首秀, Agent吞吐提30倍
NVIDIA公布基于真实芯片的Vera Rubin性能测试结果,在针对Agent工作负载的测试中优势明显。SpaceXAI将部署其CPU,探索轨道计算。这显示未来AI竞争关键是支撑Agent的计算基础设施。
机器之心