SGLang Model Gateway 0.2」共找到 2625 篇相关文章

新闻资讯7

沐曦过会,投资人已赚麻

10月24日,沐曦股份科创板IPO申请过会,与摩尔线程争夺“国产GPU第一股”。其5年发展迅速,产品有竞争力,融资超百亿,估值超210亿。未上市前,投资人已获利,葛卫东浮盈约2亿,相关上市公司股价也上涨。

芯师爷
新闻资讯7

谷歌新版Gemini马甲被扒! LMArena实测:唯一能看懂表的AI, GPT-5乱答

谷歌Gemini 3.0疑似上线LMArena,其Pro和Flash马甲被扒。实测中,Gemini 3 Pro能精确看表,GPT - 5等表现不佳;SVG测试有提升但也有不足;还能作曲。不过评测方式老套,希望有新花样。

新智元
开源动态8

开源仅一周,鹅厂文生图大模型强势登顶,击败谷歌Nano-Banana

腾讯混元团队开源的原生多模态生图模型混元图像 3.0,开源仅一周就在国际权威评测榜单 LMArena 上超越谷歌 Nano - Banana 等,位列文生图综合和开源榜单第一。实测表现出色,技术上也有诸多创新。

机器之心
算法论文7

大模型追逐星辰大海,GPT和Gemini国际天文奥赛夺金

新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试,证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型,强调需全面评估模型科研潜力。

机器之心
开源动态7

DeepSeek终于丢了开源第一王座,但继任者依然来自中国

几千人盲投中,Kimi K2超越DeepSeek成全球开源第一,总榜第五紧追顶尖闭源模型。虽有人质疑其采用DeepSeek V3架构,但团队称有参数调整。当下开源模型崛起,正打破性能弱的刻板印象。

量子位
开源动态8

腾讯开源最强3D生成模型,消费级显卡就能跑 | CVPR

在CVPR上,腾讯混元3D 2.1模型宣布开源。相比前一代,它实现几何与纹理双重优化,纹理贴面提升大,达当前开源3D模型SOTA水平。全链路开源,适配消费级显卡,Hugging Face下载量超180万。

量子位
开源动态8

单机H200最快DeepSeek V3和R1推理系统优化秘籍

作者从开源技术分享角度,盘点SGLang对单机规模推理的大量工程优化技巧,涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等,助于提升DeepSeek V3/R1在单机H200上的推理性能。

GiantPandaLLM
新闻资讯7

价格狂飙6倍!Claude凌晨上线极速模式,网友集体破防:比OpenAI还黑

Anthropic深夜上线Claude Opus 4.6极速模式,速度提升2.5倍但价格飙6倍,引发开发者不满。不过Opus 4.6实力强劲,多项评估领先。Fast Mode是市场试探,反映AI行业关注从‘能做什么’到‘多快做到’转变。

新智元
产品应用7

基于 Gemini 模型做 SEO Agent 简单实战

作者参加 Google I/O 大会后,受 James 用 AI 做 SEO 启发,尝试基于 Google 的 Gemini 2.5 Pro 模型制作 SEO 智能体。介绍数据获取方法,构建 3 个 Agent 进行分析、提建议和输出报告,Gemini 负责理解决策,适合出海企业。

特工宇宙
推荐文章7

性能最高提升7倍?探究大语言模型推理之缓存优化

文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。

阿里云开发者