搜索：俞星凯 - AI Reading Hub

「俞星凯」共找到 5 篇相关文章

DeepSeek|从零构建轻量级vLLM：Nano-vLLM，吞吐量逼近原版，代码仅需1200行

开源的vLLM能提升LLM推理速度和资源利用率。近日，DeepSeek AI俞星凯从零构建轻量级Nano - vLLM，代码仅1200行。它有离线推理等功能，基准测试显示吞吐量逼近原版。

DeepSeek研究员俞星凯搞出开源项目Nano - vLLM，仅用不到1200行代码实现最小化且完全可读的vLLM。它有快速离线推理、代码可读性强、含优化套件等特点，在H800硬件实测中性能反超原版vLLM。

开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。

DeepSeek R1/V3作者俞星凯开源轻量级vLLM——Nano - vLLM。它有快速离线推理、代码可读、含优化套件等特性，还给出了RTX 4070等硬件和Qwen3 - 0.6B模型的基准测试配置。

新智元报道，投资人Gavin Baker称Ilya Sutskever创立的SSI本月将发布首个模型。他还提及持续学习等技术或影响英伟达显卡需求，且指出Claude成华尔街“克朗凯特”，带来市场共识同质化。