「Mini-SGLang」共找到 167 篇相关文章
阿里Qwen悄悄放出6个开源权重,国庆卷疯了~
国庆期间,阿里通义千问悄悄放出6个开源模型权重,Qwen3-VL是通义千问系列最强大的视觉 - 语言模型。其30B版本多模态表现媲美GPT - 5 - Mini等,功能与架构均有升级。
GPT正面对决Claude!OpenAI竟没全赢,AI安全「极限大测」真相曝光
OpenAI和Anthropic罕见合作,测试双方模型在幻觉等四大安全方面的表现。这场合作是AI安全的里程碑,百万用户每天的互动推动安全边界扩展。文中详细对比了GPT和Claude模型在各安全测试中的表现。
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM,经分析发现多数场景Pingpong调度策略性能优于Cooperative,K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
OpenAI即将发布:开源模型和浏览器
OpenAI将发布AI驱动的网页浏览器挑战谷歌Chrome,或集成代理Operator实现智能网络体验。还准备下周四发布类似o3 mini的开源模型,不再是微软Azure独家。谷歌也可能很快发布Gemini 3。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
字节豆包2.0重磅发布!成本暴降一个数量级,Seed团队揭秘视频Agent竞争关键
今日字节发布豆包大模型2.0系列,围绕大规模生产环境需求优化,有Pro、Lite、Mini和Code四款模型。其Token单价低一个数量级,多模态理解能力升级,未来将围绕长链路智能系统构建发展。
闹玩呢!首届大模型对抗赛,DeepSeek、Kimi第一轮被淘汰了
谷歌发起首届大模型国际象棋对抗赛,为期三天。参赛模型众多,首轮中 Gemini 2.5 Pro、o4 - mini、Grok 4 和 o3 以 4 - 0 战绩晋级半决赛,DeepSeek、Kimi 首轮被淘汰,目前 Grok 4 是夺冠热门。
Anthropic CEO:人的幻觉比AI 更多!这是真的吗?
Anthropic公司CEO称AI幻觉比人类少,创业公司ColdIQ联合创始人Alex Vacca用虚构故事喂给ChatGPT、Claude和Gemini,测试它们识破谎言的能力,实验结果显示各模型表现不同,AI幻觉短期内难消失。
98%财务顾问依赖AI,揭秘7家先锋企业如何解锁商业新格局
OpenAI报告剖析7家前沿公司应用AI经验。如摩根士丹利评估后让98%财务顾问用OpenAI;Indeed用GPT - 4o mini优化职位匹配;Klarna用AI客服助手提升效益等,展示AI重塑企业运营的潜力。
我也入选了 Codex for Open Source
作者以SGLang Core Developer身份申请OpenAI的Codex for Open Source计划,本不抱希望,却收到入选通知,可免费使用6个月Codex Pro计划,认为积极参与开源是对的,Codex会加快开源框架迭代。