「MoE架构」共找到 1903 篇相关文章
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
AIAAJ | 西工大张巧、张伟伟等：多专家特征融合网络架构预测跨声速抖振气动噪声
为解决气动噪声数据中流动状态与空间位置分布不平衡导致的MLP预测精度不足问题，本研究提出多专家特征融合网络架构，以跨声速抖振气动噪声为算例评估，可降低MLP算法MSE，泛化性更好。
谷歌T5Gemma重燃架构之战！「套壳」反杀Gemma本尊，9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。
架构彻底重构！DeepSeek新模型代码曝光，要来的V4让国内外都坐不住了？
DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索，或为V4内部代号。代码显示其有重大架构变更，能并行处理稀疏与稠密计算，适配英伟达新架构。此前R1发布推动中国AI开源生态发展，新模型备受期待。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
Patreon 年度回顾中的架构经验
2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目，提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题，还分享多项目实操经验。
InfoQ 2025 年趋势报告：软件架构和设计
InfoQ 2025 年软件架构和设计趋势报告，借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势，如 LLM 普及但应用场景存疑，还有 Agentic AI、SLM 等创新领域，以及 RAG、AI 辅助开发等不同阶段趋势。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
摩尔线程新一代GPU架构10天后发布
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力，主论坛将发布新一代GPU架构，还有20+技术专场和1000㎡科技嘉年华，官网已开放报名。
刚刚，Kimi开源新架构，开始押注线性注意力
智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。