「MoE架构」共找到 1903 篇相关文章
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
摩尔线程放大招？新一代 GPU 架构即将揭晓 | Q推荐
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举办。大会聚焦全功能GPU，主论坛将揭晓新一代GPU架构，还有20+技术专场及1000㎡科技嘉年华，诚邀全球相关人士共筑国产智能计算生态。
英伟达MoE新开源：一行import，微调加速3.7倍
英伟达开源NeMo AutoModel，基于Hugging Face Transformers v5，不改代码API，添一行import就能更快速微调MoE模型。实验显示，它能提升3.4 - 3.7倍训练吞吐，减少29% - 32% GPU显存占用。
2025年深度学习趋势：从Transformer架构到无处不在的边缘计算
2025年深度学习成科技顶流，市场规模飙升。其发展受算力、数据、算法推动，应用于多领域。核心趋势包括Transformer架构发展、低代码开发等，同时也面临伦理、人才短缺等挑战。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
端到端语音模型：从语音表征到模型架构
本文整理自阶跃星辰语音模型负责人杨学锐在2025年QCon全球软件开发大会的分享。介绍大模型对语音技术的重塑，涵盖识别、合成等方面；阐述端到端语音模型构建，涉及表征、架构、训推和任务；还提及模型评估方法。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
面向 AI Agents 的高性能数据基座：架构和工程实践
在 QCon 全球软件开发大会上，晨章数据创始人陈亮分享了面向 AI Agents 的高性能数据基座。他指出 AI Agent 驱动的应用带来数据挑战，提出多模态数据基座设计目标，并介绍工程实践，证明传统架构有 CPU 瓶颈。
大小模型协同架构在金融智能投顾中的应用与挑战
本文整理自北银金科高级算法专家尹辰轩分享，介绍大小模型协同架构下的大模型投顾方案，能解决幻觉问题、优化回答深度。还提到 12 月 19 - 20 日 AICon 北京站聚焦多热门方向。