「Ultra - Sparse MoE架构」共找到 183 篇相关文章
开源动态8
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
AGI Hunt
开源动态8
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
GiantPandaLLM
新闻资讯8
谷歌全线开挂！Gemini 3 Deep Think夺多项推理SOTA，Gemini亚洲新团队也官宣了
谷歌的Gemini 3 Deep Think模式正式上线，推理能力显著加强，在ARC - AGI、HLE等多项权威测评中夺魁，仅向Google AI Ultra订阅用户开放。同时，谷歌DeepMind将在新加坡成立新的Gemini研究团队，由95后华人科学家Yi Tay带队。此外，谷歌还推出了Google Workspace Studio。
AI前线