「SGLang Kimi K3」共找到 751 篇相关文章
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
Anthropic 断供，国产 Coding 模型的中场战事开启
Anthropic对中国企业断供，国产模型面临成为Claude平替的机遇。Kimi等模型纷纷尝试，Kimi K2 0905版本在编码、上下文及工具调用上提升，其终极目标或构建具Agent特质产品，未来Agent是决胜场。
月之亮剑：万亿参数，造就国内首个 Agentic Model？
月之暗面发布全球首个万亿参数且直接开源的 Agentic Model Kimi - K2，它将 AI 下半场与经验时代理论融合。在测评中表现出色，Kimi 还通过创新方法完成预训练和后训练，并将成果开源，给中国开发者更多自主权。
SGLang JIT Kernel 介绍
文章介绍SGLang JIT Kernel，此前开发CUDA Kernel流程繁琐、编译时间长，现基于TVM - FFI探索JIT开发加速迭代。文中梳理其机制、抽象及新增Kernel流程，还给出环境设置、目录结构等内容，并以实例说明开发过程。
18.5K star！一键将电子书转为有声读物，支持1k+语言！
开源君分享开源工具`ebook2audiobook`，能将20多种格式电子书一键转为有声读物，支持超1100种语言，有语音克隆等功能，在Github获18.5K star，安装使用简单。
SGLang-Diffusion: 两个月进展
自2025年11月初发布，SGLang - Diffusion获广泛关注。过去两月持续优化，速度提升1.5倍。介绍新模型支持、LoRA支持等进展，还展示性能测试结果，阐述关键改进及未来规划。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
kimi 的RL end2end ON LLM
文章分享Kimi Researcher背后技术思考，采用端到端强化学习打造大模型Agent。对比传统方法，凸显其灵活通用、能力上限高、可扩展优势。还展示其在考试榜单成绩提升及智能“涌现”，介绍多应用场景。