「mini - sglang」共找到 163 篇相关文章
轻量级易开发，8B参数释放大实力！科学多模态模型Intern-S1-mini开源
上海人工智能实验室继7月26日开源后，推出轻量化版本Intern-S1-mini。它是8B参数“迷你模型”，兼具通用与专业科学能力，适合快速部署和二次开发，在多方面表现出色，还降低了对高端计算设备依赖。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
OpenAI推出GPT-5.4 mini/nano；MiniMax发布M2.7；小米发布MiMo-V2系列模型
OpenAI、MiniMax、小米陆续发布新模型。OpenAI推GPT - 5.4 mini与nano，优化速度和成本；MiniMax的M2.7能自我演化；小米MiMo - V2系列覆盖智能体核心、全模态理解和情感语音合成。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
腾讯回应 OpenClaw 之父 Peter 的“抄袭”指责；突发！字节AI视频模型Seedance 2.0发布紧急叫停；Mac mini因“养虾热”断货 | Q资讯
本周AI圈热点不断：腾讯回应OpenClaw之父“抄袭”指责；字节AI视频模型Seedance 2.0发布叫停；Meta或裁员20%；美团王兴谈海外战略与AI冲击；“养虾热”致Mac mini断货；DeepSeek V4和腾讯新混元模型4月将发布。