「超大规模MoE」共找到 164 篇相关文章
强化学习 AI 系统的设计实现及未来发展
本文是阿里巴巴算法专家曹宇在AICon 2025北京站的分享。从RLHF系统出发，结合实践展示RL系统现状与发展，探讨超大规模RL方向，涉及理论、业界实践、开源生态等，还介绍了AICon北京站活动。
集合通信库VCCL释放GPU极致算力，创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下，创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发，有智能调度、容错、细粒度观测机制，实测能提升算力利用率、降低故障率，还解决了服务器异构等问题。
外卖公司也能搞AI？
昨天凌晨美团悄悄开源560B参数的MoE大模型LongCat-Flash-Chat，引发国外网友疑惑。该模型推理速度超100 tokens/秒，基准测试表现出色，多项设计解决实际问题，贴合美团业务需求。
The Batch: 862 | OpenAI 的重新"开放"
OpenAI 发布自 2019 年 GPT - 2 以来首个开源权重模型 gpt - oss 系列，含 gpt - oss - 120b 和 gpt - oss - 20b，为智能体应用设计，免费使用修改。介绍其输入输出、架构等，还对比了性能表现。
32B 稠密模型推理能力超越 R1？中国秘密 AI 团队发布推理小模型 AM-Thinking-v1
2025年，国内神秘A - M - team在Hugging Face开源32B推理模型AM - Thinking - v1。它在多推理评测中击败DeepSeek - R1，与超大规模模型成绩相当。团队靠后训练方案挖掘32B模型潜力，探索小体量实现大能力路径。
OpenAI发布MRC超算协议，重塑10万GPU集群通信，AMD等合作推进
OpenAI联合AMD等发布MRC超算协议，它基于RoCE标准，打破传统网络局限，解决超大规模计算集群难题，降低成本与能耗。MRC有多平面网络等特性，已在多超级计算机部署，规范也已公开。
阶跃新模型快到“没推理”！印奇上任，果然气势一新
印奇上任后，阶跃星辰发布新一代开源Agent基座模型Step 3.5 Flash，总参数196B，支持256K上下文窗口。它推理快，适配多家芯片厂商，在多场景表现出色，还具备端云协同能力，架构也有多项优化。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
Qwen3.8-Flash-Next：SGLang Day-0 支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。
H100去哪儿了？
X 用户疑问引发关注，H100 供应下降成算力危机。超大规模云厂商和前沿实验室提前锁定产能，核心短缺在于内存与封装工艺。算力危机冲击 AI 生态，产业界有应对方法，但短缺问题短期内难解决。