开源动态7
vLLM 与 SGLang:开源推理引擎的较量
AI科技大本营
AI 摘要
赵晨、夏小雅:vLLM 和 SGLang 是热门开源推理引擎。vLLM 借鉴分页缓存管理,性能提升显著;SGLang 基于 RadixAttention 优化。二者竞争激烈,性能趋同,还获投资与基金会关注,受科技公司青睐。
阅读原文 · AI科技大本营
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的?
文章介绍了开源推理引擎 vLLM 和 SGLang,包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术,SGLang 基于 RadixAttention 优化。二者竞争激烈,性能趋同,还获投资与基金会关注,受科技公司青睐。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
Qwen3.8 - Flash - Next开源,SGLang首日支持
2026年8月26日,Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next,它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持,模型架构多方面升级,亮点众多,还给出启动命令及配置建议参考。
GiantPandaLLM
开源动态8
Qwen团队开源Qwen3.8-Flash-Next,SGLang首日支持
2026年8月26日,Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next,是Qwen4架构早期预览版。SGLang在发布首日提供完整支持,模型架构多方面升级,亮点众多,还介绍各组件优化及PLE架构与卸载优势。
GiantPandaLLM
新闻资讯8
DeepSeek高毛利,冲刺5000亿估值A股上市
据外媒报道,DeepSeek今年前七个月营收约4.75亿,较2025年全年增长近10倍,净亏损收窄,综合毛利率44.6%,API业务毛利率达82.9%。它正磋商500亿二轮融资,筹备明年沪上市,靠优化基建降本,低价策略吸客。
AI前线
产品应用7
Google发布“法律版Gemini”进军法律界
8月25日,Google Cloud发布Gemini Enterprise for Legal面向律所和企业法务团队开放预览。它想解决让模型进入律所现有工作系统,不打乱权限等规则的问题,通过MCP连接系统并继承权限,还组织各方合作。
AIGC开放社区