「MoE模块」共找到 381 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
混元 Hy3 发布：99% 的任务，够用了
腾讯混元模型 Hy3 正式上线，免费使用两周。它是快慢思考融合的 MoE 模型，主打 Coding 和 Agent 场景，性价比高。作者用它做了多项测试，如制作 PPT、开发代码、舆情分析等，还与 GLM - 5.1 对决，表现不错。
ICCV 2025 | 小红书AIGC团队提出图像和视频换脸新算法DynamicFace
小红书AIGC团队提出图像和视频换脸新算法DynamicFace。该算法创新性融合扩散模型与3D人脸先验，解耦身份与运动信息，设计双流注入架构和时序一致性模块，实验证明其在身份保真与运动还原上优势明显。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
智能体系统如何「边做边学」？斯坦福团队探索在线优化的新范式
斯坦福等校团队提出 AgentFlow 框架及 Flow - GRPO 算法，让智能体系统能「边做边学」。它由多个智能体模块协作，在多领域基准测试中表现出色，小模型也能超越大模型，为智能体训练提供新思路。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
千亿市值巨头，超百亿押注算力产业链
东山精密在今年6月收购光模块企业索尔思光电后股价暴涨、市值破千亿，近日又宣布子公司投资不超10亿美元建高端PCB项目。两项投资额超百亿，但索尔思光电有研发迟缓、毛利率低等问题，东山精密高端PCB技术也不足。