「Mini-SGLang」共找到 167 篇相关文章
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
您猜怎么着？Grok 4进决赛，大模型对抗赛Gemini全军覆没，马斯克「装」起来了
谷歌举办的 Kaggle AI Chess 比赛中，半决赛 Grok 4 击败 Gemini 2.5 Pro 进决赛，o3 也战胜 o4 - mini 晋级。Grok 4 与 Gemini 2.5 Pro 对决焦灼，最终 Grok 4 涉险晋级，明天将与 o3 争夺冠军。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
从MiniMax到DeepSeek：为何头部大模型都在押注「交错思维」？
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩，MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点，解决了状态漂移问题，正成高性能 Agent 模型标配。M2 既强又省，还给出使用最佳实践。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。
为什么 2025 的基模公司都押注 Interleaved Thinking？
本文探讨 2025 年基模公司押注 Interleaved Thinking 的原因。从大模型迭代说起，介绍其在多模型中的体现，阐述该思维链对 Agent 的重要性，还提及 MiniMax 在推动其成行业标准上的诸多努力及带来的影响。