「Transformer层」共找到 535 篇相关文章
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
突发！Transformer之父告别谷歌，转投OpenAI
Transformer之父之一Noam Shazeer告别谷歌转投OpenAI，任架构研究负责人。他是现代AI底层技术重要贡献者，谷歌曾花27亿请他回去，如今他的离开让谷歌痛失功臣，OpenAI野心尽显。
Anthropic 研究员：强化学习将推动 Transformer 实现 AGI
在 AI Agenda Live 纽约活动上，Anthropic 强化学习团队技术负责人 Sholto Douglas 称，无需新架构突破，强化学习能让 Transformer 达人类专家级别表现，接近 AGI。但定义「好表现」是难题，Anthropic 或投 10 亿美元提升模型企业应用表现。
Transformer八周年！Attention Is All You Need被引破18万封神
Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。
谷歌Dreamer大神离职！「辛顿门徒」自曝错过Transformer
谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。
Transformer作者：DeepSeek才有搞头，OpenAI指望不上了
Transformer发明者Ashish Vaswani认为OpenAI等闭源厂商被商业化冲昏头脑，没心思做基础研究。他All in基础研究，坚持开源路线，想打造西方世界的DeepSeek。其团队论文提出颠覆性观点，或降低训练成本。
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
AI 时代，产品经理的“翻译层”正在消失
随着AI能力进化，产品经理在用户和工程师间的‘翻译层’正坍塌。工作效率从周变小时，模式从写规格书变为用Agent做原型。PM需掌握定义问题等新技能，转变思维，虽部分场景适用，但有组织阻力。
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。