「推理token」共找到 2522 篇相关文章
开源动态7
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
GiantPandaLLM
开源动态8
老黄杀入OpenClaw战场！最强开源「龙虾」模型直逼Opus 4.6
英伟达推出新一代开源模型Nemotron 3 Super，专为大规模AI智能体打造，有1200亿参数，推理快、吞吐量高，性能直逼Claude Opus 4.6等。它解决了Agent应用的难题，还开源了相关数据和训练方法。此外，英伟达还在打造NemoClaw开源AI智能体平台。
新智元