「超大规模MoE」共找到 158 篇相关文章
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
突发！微软与OpenAI同日开火：语音之战+通用大模型，AI霸权决战打响
OpenAI发布语音大模型时，微软同日推出自研语音模型MAI-Voice-1和通用模型MAI-1-preview。MAI-Voice-1效率高、表达丰富，MAI-1-preview采用MoE架构。微软此举在语音战场布局，也为与OpenAI谈判增加筹码。
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
专为小说、角色扮演等而生：元象开源泛娱乐场景底座模型
元象作为AI与3D技术服务公司，此次开源XVERSE-Ent系列中英双语大模型。它采用MoE热启动技术与三阶段训练策略，解决泛娱乐场景痛点，适配多元语境，有高部署性价比，为行业提供泛娱乐AI解决方案。
美团也开源了大模型，但我觉得他们的野心是通用生活Agent。
美团发布并开源560B参数的MoE模型LongCat - Flash - Chat，推理速度快。与DeepSeek V3对比，输出速度优势明显。美团多个落地或内测AI功能服务C端生活场景，目标是打造通用生活Agent。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
混元 Hy3 发布：99% 的任务，够用了
腾讯混元模型 Hy3 正式上线，免费使用两周。它是快慢思考融合的 MoE 模型，主打 Coding 和 Agent 场景，性价比高。作者用它做了多项测试，如制作 PPT、开发代码、舆情分析等，还与 GLM - 5.1 对决，表现不错。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。