开源动态8
SGLang更新,大幅提升GPT - OSS性能
GiantPandaLLM
AI 摘要
SGLang更新,为openai/gpt - oss - 120b模型带来性能提升,预填充和解码吞吐量分别最高达2.1倍和2.25倍,支持多GPU与推测解码技术,还适配智能体应用,后续将继续优化。
阅读原文 · GiantPandaLLM
SGLang支持GPT-OSS:从Day 0支持到性能增强
SGLang宣布重大更新,聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升,支持多GPU,有推测解码等功能,还支持智能体应用程序,且不损害模型推理能力。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
Cloudflare CEO:五年后机器流量千倍于人
本文整理自The Verge《Decoder》播客对Cloudflare CEO的访谈,披露今年5月互联网自动化流量已超过人类流量,预测五年后将达千倍,讨论AI时代互联网新商业模式、内容付费、AI爬虫拦截等热点议题。
AGI Hunt
产品应用9
Opus5.5 全流程搞定视频制作
本文作者实测Claude Opus5.5的视频制作能力,除人工配音外,分镜、动画、音效、配乐全靠代码完成,对比GPT-6 Astra展示各环节提升,验证大模型全流程做视频的可能性。
AI产品自由
新闻资讯8
发布9天,Jev估值破百亿美元
本文报道AI初创公司TypeSafe AI发布的模型Jev上线仅9天,就传出投资者给出超百亿美元估值,剖析资本追捧低价薄利模式的原因,同时梳理业内对其护城河的质疑,探讨大模型赛道资本动向。
DeepTech深科技
新闻资讯8
机器人的GPT时刻就是GPT本身?
本文围绕GPT-6 Astra发布后的行业测试展开,讨论通用大模型能否成为机器人的通用大脑,分析了通用大模型参与机器人控制的原理与优势,点明当前能力边界,提出了分工协作的落地方案。
DeepTech深科技