「Mini-SGLang」共找到 167 篇相关文章
开源啦，1天交付，报价翻5倍，接私活要电子签功能？我把"印章+证据链"封装成可二开底座
作者小华分享开源项目Mini Contract.Pro，这是电子签开源底座，解决印章、落章、签署、存证等难题，有双模式引擎，采用新技栈，结合AI提效，还给出电子签需求硬指标清单。
微软开源新版Phi-4：推理效率暴涨10倍，笔记本可运行
今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning，它参数小性能强，适合边缘设备。采用自研SambaY架构，推理效率涨10倍，延迟降2 - 3倍，多场景测试表现优异。
数学圈地震！o3靠直觉刷爆人类顶尖难题，14位专家集体破防
Epoch AI新研究发现，o3 - mini - high能破解顶尖数学难题，具备渊博学识且会基于直觉解题，但推理风格依赖直觉，缺乏严谨性和创造力，还存在投机取巧、幻觉等问题。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
如何在24GB显存里，塞下一个万亿参数的巨兽？KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统，可让消费级显卡跑万亿级参数模型，其论文入选SOSP 2025。该系统解决MoE模型本地部署难题，技术创新多，还与SGLang合作，提升硬件利用率。
在 Cache-DiT 框架下实现原生 Serving功能
Cache-DiT 是唯品会开源的 PyTorch 原生 DiT 推理加速引擎，此前聚焦离线推理。现实现完整 Serving 功能，支持单卡与分布式推理模式。文章介绍其实现过程、借鉴 SGLang 的设计，还总结踩坑及使用方法。
刚刚，新版DeepSeek-R1正式开源！直逼o3编程强到离谱，一手实测来了
临近端午假期，新版DeepSeek - R1凌晨正式开源，模型权重已上传到HuggingFace。其性能几乎与o4 - mini（Medium）相当，编程实测超越Claude 4 Sonnet。有多项更新亮点，经实测性能获“史诗级”加强。
AI修Bug新SOTA：SWE-Bench Lite60.33%修复率，像人一样能积累经验，中科院软件所出品
ExpeRepair是中科院软件所团队推出的仓库级缺陷修复系统，模拟人类认知的情景和语义两种记忆模式，能积累经验。在SWE - Bench Lite评测中，其Claude - 4+o4 - mini组合修复率达60.3%居首。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
Harness Engineering？不过是把工程常识换个名字
Chayenne Zhao 发文炮轰 harness 概念，认为它只是工程常识换个名字。她以 SGLang 社区构建多智能体系统为例，阐述解决问题的方案和关键决策，还指出真正驱动改进是环境层面，而非模型。