「SGLang Model Gateway 0.2」共找到 2619 篇相关文章
神秘霸榜模型现真身：小米MiMo-V2 Pro，国内首个万亿参数+1M上下文，为Agent而生！
小米全新一代面向 Agent 的大模型家族官宣，包括 MiMo-V2-Pro Preview、MiMo-V2-Omni 和 MiMo-V2-TTS。MiMo-V2-Pro 性能优异，在多场景实测表现出色，技术有创新，API 开放且定价低，已融入小米多业务与生态。
图解Vllm V1系列4：加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入，详细分析DefaultModelLoader的工作步骤，包括初始化模型架构和实际加载权重，还给出各步骤代码及作用，为想操作load_model的人提供框架。
国产GPU组了个开源局，把SGLang等核心开发者都摇来了！
国产GPU玩家摩尔线程举办SGLang × MUSA Meetup，邀请众多开源圈开发者。活动探讨如何让国产GPU进入大模型推理主流开源工程链路，显示国产GPU竞争迈向生态坐标之争。
T-RO综述重构Foundation Model时代机器人操作知识版图
近日，论文《Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives》被IEEE Transactions on Robotics接收，它以High - Level Planning和Low - Level Action Modeling为主线，梳理Foundation Model时代机器人操作发展，分析了现存问题及关键缺口。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程
作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
2.2K 标星的龙虾办公可视化项目！OpenClaw 专属的像素风「赛博办公室」！
由`海幸Hyacinth`和`Simon_阿文`联手打造的Star-Office-UI（龙虾办公室）在GitHub开源，获2.2K标星。它把AI助手工作状态变成像素风看板，打破人机交互冰冷感，还具多亮点及API，上手简单。
GPT-Image-2平替！最强开源生图模型来了
OpenAI推出GPT Image 2引发AI生图大战，国内厂商商汤反击，推出多模态理解生成模型SenseNova U1并全面开源。它通过自研架构实现理解、推理、生成统一，实测表现惊艳，能力全维度，与GPT-Image-2范式不同。
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。