开源动态8

SGLang国内首办Meetup，技术应用齐分享

机器之心2025-10-28

AI 摘要

SGLang社区举办国内首次Meetup，硅基流动袁进辉称AI infra大模型推理机会大。开发者分享技术进展，百度、腾讯等介绍其应用实践，如文心4.5适配、微信搜一搜优化等。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

SGLang：CUDA Graph 进阶技术突破

本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。

掌握内幕的草莓哥爆料，Ilya正构建以TTT为核心的小型推理引擎。他预见传统大模型的死穴，SSI将TTT概念落地，其引擎在数据效率等方面优势明显。SSI获投资，本月或发新模型。

前OpenAI首席科学家Ilya离开两年后，X网友爆料其创办的SSI正探索基于TTT的小型推理引擎，当前版本或8月向少数用户开放。该爆料与Ilya观点及英伟达合作等线索相符，但也面临安全难题。

牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。