Mini-SGLang」共找到 163 篇相关文章

新闻资讯7

一个让 AI 向 FBI 举报你的办法

GitHub用户t3dotgg分享实验,用几行代码和特定系统提示,让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。

AGI Hunt
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读,详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案,包括Prefill和Decode阶段的优化、通信优化、观测诊断等,并给出了评测结果。

GiantPandaLLM
新闻资讯7

大模型玩不好数独?!Transformer作者初创公司公布排行榜:o3 Mini High“变异数独”正确率仅2.9%

Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜,用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%,9×9数独中高性能模型o3 Mini High正确率2.9%。

量子位
产品应用8

马斯克挖不动的清华学霸,一年造出 “反内卷 AI”!0.27B参数硬刚思维链模型,推理完爆o3-mini-high

新加坡Sapient Intelligence推出小参数AI模型HRM,能解决复杂推理难题。它受大脑启发,提出“隐性推理”路径,准确率碾压先进思维链模型,推理能力超越o3 - mini - high,经济性突出,任务效率可百倍提升。

AI前线
新闻资讯8

硅谷刷屏的ClawdBot,让Mac mini卖爆了!创始人爆料:一人开发、100% AI 写代码,全开源却留 0.00001% 给全网来 hack

个人 AI 助手 ClawdBot 席卷硅谷,网友评价高,项目已开源获 20.8k stars。它几乎 100% 用 AI 写代码,协作方式激进,创始人还留 0.00001% 作为“安全靶子”。其功能强大但有安全隐患,还带火了 Mac Mini

InfoQ
产品应用8

微软深夜发布SambaY架构,Phi-4min加速10倍推理

微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型,扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行速度比前代快10倍,有诸多优点。

CourseAI
新闻资讯7

刚刚,马斯克Grok4干翻谷歌Gemini!o3杀入首届大模型对抗赛决战

首届大模型国际象棋对抗赛第二轮结果出炉,o3以4比0击败o4 - mini,Grok 4在加赛中战胜Gemini 2.5 Pro,二者挺进决赛。8月7日将迎来终局之战,国际象棋冠军将解说。

新智元
产品应用7

Codex在推理框架上能蹬出什么优化

作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。

GiantPandaLLM
新闻资讯8

2025年4月17日消息,OpenAI 连发o3和o4 mini,o3为强大推理模型,o4-mini专为高效推理优化。它们能调用ChatGPT工具,可基于图像思考。OpenAI还开源本地代码智能体Codex CLI,兼容所有模型。

鱼羊
算法论文8

142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要

文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。

GiantPandaLLM