「混合注意力架构」共找到 2115 篇相关文章
“DeepSeek-V3基于我们的架构打造”，欧版OpenAI CEO逆天发言被喷了
欧洲版OpenAI（Mistral）CEO Arthur Mensch在访谈称DeepSeek-V3基于其架构构建，引发网友质疑。经对比，Mixtral与DeepSeek的SMoE论文虽研究方向相同，但架构思路差异大，此前Mistral 3 Large还曾被指照搬架构。
24个月，从写第一行代码到破产：一位架构师在47个“死亡”项目里，看到的共同陷阱
架构顾问审阅47家初创公司代码库，发现它们因产品无法扩展、技术债积累走向停滞。提出花两周做架构可避免问题，还指出AI虽降低开发门槛，却加速技术债积累。
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
Fluss 湖流一体：Lakehouse 架构实时化演进
湖仓一体 Lakehouse 成主流架构，但数据时效性最多达分钟级。阿里云罗宇侠在 QCon 大会分享 Fluss 湖流一体方案，解析技术架构与原理，介绍融合趋势、核心优势、使用方法及未来规划。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
一文读懂：数据中心“拥抱”ARM架构，为何如此艰难？
文章探讨企业数据中心采用ARM架构面临的难题。如现有x86架构主导，切换有兼容性问题；ARM硬件选择有限、性能不足；云服务功能难对等；软件支持和许可证问题也阻碍其应用。
Thin Harness, Fat Skills：AI工程架构的本质
文章介绍了AI工程架构本质，阐述Garry Tan倡导的智能体工程三原则，分析架构分层，包括Fat Skills、Fat Code和Thin Harness层，还通过案例展示技能文件进化特性，提及社区讨论、边界迁移和工程纪律价值。
显存暴降92%！哈工大为线性注意力开辟了新道路
哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。