「Transformer层」共找到 535 篇相关文章
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
谷歌创始人谢尔盖・布林回母校演讲，复盘谷歌发展，承认曾低估Transformer，让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程，给出对大学生、创业者建议，反思退休决定。
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
Transformer传奇作者加入OpenAI！谷歌27亿美元也没留住
Transformer核心作者Noam Shazeer宣布加入OpenAI，他曾因谷歌拒绝发布聊天机器人出走创业，2024年谷歌花27亿美元请回，如今再次离开。他贡献巨大，引发AI界争抢。
2025年深度学习趋势：从Transformer架构到无处不在的边缘计算
2025年深度学习成科技顶流，市场规模飙升。其发展受算力、数据、算法推动，应用于多领域。核心趋势包括Transformer架构发展、低代码开发等，同时也面临伦理、人才短缺等挑战。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
模型都一样了，AI Agent 真正的差距在 Harness 层！
如今各平台接入模型趋同，AI Agent 差距体现在 Harness 层。以天工超级智能体为例，其有约束先行、任务并行编排等亮点，还提供 Skill 粒度新思路，且云端运行降低使用门槛。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
Transformer上限触顶，Mobius能否引发下一代模型架构的革命？
自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。