开源动态7
DeepSeek 工程师:1200 行代码开源轻量级 vLLM
机器之心
AI 摘要
俞星凯(DeepSeek 工程师)开源轻量级 Nano - vLLM,代码 1200 行。它具快速离线推理等功能,基准测试中吞吐量逼近原版 vLLM,项目已在 GitHub 获 200 多 Star。
阅读原文 · 机器之心
1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日,DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM,代码仅 1200 行,基准测试中吞吐量逼近原版,项目已在 GitHub 获 200 多 Star。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
Android之神:AI账单贵过程序员
本文是Android知名开发者Jake Wharton的深度访谈,他经历行业裁员后明确拒绝AI相关工作,针对企业用AI取代工程师裁员算了成本账,同时分享了对Kotlin发展、编程语言、开源生态的观点,干货十足观点犀利。
AI科技大本营
开源动态9
永久免费Jev爆火,开源版Nimble来了
本文报道OpenAI前研究员Diogo Almeida推出新型决策模型Jev,砍掉传统LLM文本生成功能仅专注判断,速度提升数十到上百倍,输出token永久免费,爆火后同思路开源模型Nimble随即上线。
量子位
开源动态9
开源3天7.1k Star Jev加持浏览器Agent
本文介绍Browser-Use团队开源的jev-ultrafast项目,该项目将新型Jev模型整合进浏览器Agent,通过读DOM替代截图推理,大幅提速降本,开源3天收获7.1K Star,冲上Hacker News首页。
开源星探
新闻资讯9
DM0.5横扫RoboColiseum四榜登顶
本文报道原力灵机DM0.5在智元机器人发起的RoboColiseum具身模型评测中拿下四个单项第一,这已是该模型连续拿下六套不同类型公开评测的榜首,攻破了传统具身模型换题掉分的痛点,目前已开源落地产业场景。
机器之心