「mini - sglang」共找到 163 篇相关文章
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
Qwen3.8-Flash-Next：SGLang Day-0 支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。
Qwen3.8-Flash-Next：SGLang Day-0 支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next，它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持，模型架构多方面升级，亮点众多，还给出启动命令及配置建议参考。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
sglang 源码学习笔记（二）- backend & forward 过程
本文深入解析sglang forward核心实现全流程，介绍了forward传递过程、AttentionBackend数据结构，以flashinfer为例展开分析，还说明了cudaGraphRunner初始化、Capture、Replay过程，助读者理解代码。
一句“吴恩达说的”，就能让GPT-4o mini言听计从
宾夕法尼亚大学研究者发现，用恭维、同侪暗示等心理话术，能让GPT - 4o Mini突破安全底线。实验基于七大说服技巧，证明人类心理学原则可迁移至LLM。不过，此漏洞或被利用，已有团队尝试应对。
Apple 终于承认了：Mac mini 正在变成一台 Agent 服务器
苹果偷摸发布新 Mac mini，处理器升级到 M6 和 M5 Pro，官方将其置于 Agent 常驻使用场景，产品边界向 Agent 服务器延展。新款性能提升显著，Mac Studio 也有强大配置，Apple 产品线朝本地 AI 计算基础设施转变。