「超大规模MoE」共找到 158 篇相关文章
开源DeepSeek R1增强版:推理效率快200%,创新AoE架构
德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera,基于三大模型混合开发,采用创新AoE架构,推理效率比R1 - 0528快200%,成本大减,在主流测试中性能更好。还介绍了AoE架构构建子模型方法。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
传言:华为版 DeepSeek R2 本月发布
据 Huawei Central 报道,DeepSeek R2 可能本月 15 至 30 日发布,运行在华为 Ascend 910B 集群,硬件利用率 82%,算力 512 PetaFLOPS FP16,效率达 A100 的 91%,将与 ChatGPT 5 竞争,但消息未证实。
Qwen3.8-Flash-Next:SGLang Day-0 支持
2026年8月26日,Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next,它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持,模型架构多方面升级,亮点众多,还给出启动命令及配置建议参考。
登顶SuperCLUE DeepSearch,openPangu-R-72B深度搜索能力跃升
近日 SuperCLUE 发布 11 月 DeepSearch 评测报告,国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能,经预训练技术优化和 DeepSearch 专项突破,彰显国产算力与大模型研发融合成效。
强化学习 AI 系统的设计实现及未来发展
本文是阿里巴巴算法专家曹宇在AICon 2025北京站的分享。从RLHF系统出发,结合实践展示RL系统现状与发展,探讨超大规模RL方向,涉及理论、业界实践、开源生态等,还介绍了AICon北京站活动。
集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下,创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发,有智能调度、容错、细粒度观测机制,实测能提升算力利用率、降低故障率,还解决了服务器异构等问题。
外卖公司也能搞AI?
昨天凌晨美团悄悄开源560B参数的MoE大模型LongCat-Flash-Chat,引发国外网友疑惑。该模型推理速度超100 tokens/秒,基准测试表现出色,多项设计解决实际问题,贴合美团业务需求。
The Batch: 862 | OpenAI 的重新"开放"
OpenAI 发布自 2019 年 GPT - 2 以来首个开源权重模型 gpt - oss 系列,含 gpt - oss - 120b 和 gpt - oss - 20b,为智能体应用设计,免费使用修改。介绍其输入输出、架构等,还对比了性能表现。
32B 稠密模型推理能力超越 R1?中国秘密 AI 团队发布推理小模型 AM-Thinking-v1
2025年,国内神秘A - M - team在Hugging Face开源32B推理模型AM - Thinking - v1。它在多推理评测中击败DeepSeek - R1,与超大规模模型成绩相当。团队靠后训练方案挖掘32B模型潜力,探索小体量实现大能力路径。