搜索：循环深度Transformer

「循环深度Transformer」共找到 1095 篇相关文章

突发！Transformer之父告别谷歌，转投OpenAI

Transformer之父之一Noam Shazeer告别谷歌转投OpenAI，任架构研究负责人。他是现代AI底层技术重要贡献者，谷歌曾花27亿请他回去，如今他的离开让谷歌痛失功臣，OpenAI野心尽显。

在 AI Agenda Live 纽约活动上，Anthropic 强化学习团队技术负责人 Sholto Douglas 称，无需新架构突破，强化学习能让 Transformer 达人类专家级别表现，接近 AGI。但定义「好表现」是难题，Anthropic 或投 10 亿美元提升模型企业应用表现。

Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。

本文深度体验了DeepSeek Harness，它已发布并开源代码。其一切如模型、工具等皆为可插拔积木，官方内置超百个插件。介绍了安装方法、使用特点，还对比了与Codex差异，认为它是Agent时代的安卓，有望推动自进化。

谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。

Transformer发明者Ashish Vaswani认为OpenAI等闭源厂商被商业化冲昏头脑，没心思做基础研究。他All in基础研究，坚持开源路线，想打造西方世界的DeepSeek。其团队论文提出颠覆性观点，或降低训练成本。

作者分享Kimi深度研究功能体验。其基于端到端自主强化学习技术，会开源模型。在测试中，分析Labubu爆火原因、检索小米发布会内容，展现出强逻辑分析、搜索准确性和数据处理能力，可视化网页也出色。

2025年是AI深度应用元年，AI走向产业级价值兑现。快手在1024程序员节展示AI与业务融合布局。程一笑称竞争关键是结合AI与场景，快手构建技术与应用栈，各业务成果显著，推动全链路AI重塑。

2026年5月深度机智成立一周年，其Z - WM在WorldArena Track 2夺冠，领先30.5分。该公司围绕人类第一视角数据构建完整技术体系，其成果表明生成数据可用于具身智能模型训练，具身智能竞争重心正迁移。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。