「Mini-SGLang」共找到 167 篇相关文章
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。
4比0横扫Grok 4，o3强势夺冠，首届大模型对抗赛结果出炉
备受AI圈关注的首届谷歌Kaggle AI Chess大赛落幕。o3以4 - 0横扫Grok 4夺冠，Gemini 2.5 Pro 3.5 - 0.5击败o4 - mini获季军。此前Grok 4被视为夺冠热门，决赛却频频失误。
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。
GPT-5.1曝光挽差评？救场背后，OpenAI 员工痛批Meta系的人正在“搞垮”公司！
近日开发者发现OpenAI仓库提及GPT - 5.1 mini，不过GPT - 5系列差评多，用户诟病其速度慢、性能差等。同时，OpenAI因大量招聘前Meta员工，让内部员工担心公司文化会像Meta，且对广告态度软化。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
终于！OpenAI 开源了2款模型：gpt-oss-120b 和 gpt-oss-20b
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 开源模型，性能出色，如 120b 版本媲美 o4-mini，20b 版本能在笔记本甚至手机运行。采用 Apache 2.0 许可证，有多种特性与运行方式，还经安全分析。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。