「Mini-SGLang」共找到 167 篇相关文章
24小时快速入门大热语言Rust！学不会来找我
文章从Rust核心语法等基础入手，介绍其不同于其它语言的思维方式，还通过实战项目带读者入门。阐述了安装、工具使用，用greplite小程序介绍语言特点，讲解组织数据方式、所有权等，最后实现mini - redis并给出学习建议。
时隔六年，OpenAI 为什么再次开源？
OpenAI发布两款开源纯文本推理模型，时隔六年再次开源。其gpt - oss - 120b性能与o4 mini相当，成本降超10倍。此次开源有战略考量，或是为构建生态、吸引企业，也反映出其对自身价值定位更清晰。
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型（DeepSeek R1和OpenAI o3 - mini - high）与非推理型（DeepSeek V3和ChatGPT 4o）大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估，结果有差异。
DeepSeek-R2尚未问世，微软小模型捡漏称王？6000样本炼出「数学作弊器」！
微软推出Phi-4推理模型系列，参数最多14B，能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型，且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
爆冷！首届大模型争霸，Grok 4下出「神之一手」？DeepSeek、Kimi惨遭淘汰
谷歌Kaggle举办首届全球AI象棋争霸赛，八款顶级语言模型正面对抗。首战8进4淘汰战中，Gemini 2.5 Pro、o4 - mini、Grok 4、o3晋级，Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash和Kimi K2出局。比赛考验AI整体理解能力。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。