「SGLang Kimi K3」共找到 751 篇相关文章
刚刚，Kimi开源新架构，开始押注线性注意力
智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
新模型亦是新 Agent，Kimi-Researcher 超大量一手实测！
2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。
大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
12K Star 的 claude-seo：免费 SEO 审计能替掉哪些付费工具
2026年2月底GitHub上claude - seo仓库有3500 star，五个月后达12.3K star。该项目作者一人开发，能给站点做SEO审计。它把判断层抽出开源，审计后可直接改代码。不过也有动态渲染弱等问题。
Kimi总裁张予彤北大实录：我们想要有抽象能力和偏执的人｜甲子光年
Kimi总裁张予彤在北大分享，谈AI时代人才标准，偏好有抽象能力和偏执的人。还探讨AI创造新工作、学校课程设计、企业管理等问题，分享Kimi招人标准、组织特点及对行业诸多问题的看法。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性，SGLang 实现高吞吐量，成本低。博客探讨并行设计、优化方法，所有组件开源，也指出了当前局限与未来方向。