「后Transformer架构」共找到 3675 篇相关文章
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
ICML 2025 | 打破残差连接瓶颈，彩云科技&北邮提出MUDDFormer架构让Transformer再进化！
彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。
曾经年薪百万的架构师，如今是否要靠AI保饭碗？对话5位顶尖架构师：未来的架构师，不写代码也得懂AI
本文围绕AI时代架构师角色转型展开深度对话，多位专家认为AI引发架构师角色定位转变，架构师需将重心转向战略层面，新职业形态涌现。AI提升架构治理效率，也带来范式变化，架构师应积极拥抱变化。
曾经年薪百万的架构师，如今是否要靠AI保饭碗？对话5位顶尖架构师：未来的架构师，不写代码也得懂AI
文章围绕AI时代架构师角色转型展开，多位专家认为AI引发架构师角色定位转变，新职业形态涌现。AI工具提升开发效率，架构师需转向战略层面，还探讨了AI对架构设计流程、团队协作的影响及应对建议。
苹果AI选Mamba：Agent任务比Transformer更好
苹果新研究指出，在长任务、多交互的Agent式任务中，基于SSM架构的Mamba在效率与泛化能力上超Transformer。虽Mamba有局限性，但引入外部工具后性能显著提升。
统治AI十年的Transformer，要被亲爹亲手砸碎？
5月5日旧金山的辩论赛上，Transformer联合发明人Łukasz Kaiser为其作品辩护，三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线，否则Transformer仍是主流，还给出具体辩护。
突发！姚顺雨后，清华95后庞天宇加入腾讯，任混元「首席科学家」
继OpenAI大神姚顺雨之后，95后清华博士庞天宇入职腾讯，任混元首席研究科学家，负责多模态强化学习。腾讯AI战略从跟随转向进攻，人才、技术、架构都有新动作。
通过架构建议流程实现架构决策的去中心化
Andrew Harmel - Law 在 Goto 大会提出架构建议流程，认为传统架构实践不可扩展，架构需去中心化。该流程让任何人可做决策，只需向受影响者和专家寻求建议，还提到失效模式及实践转变。
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。