「后Transformer时代」共找到 3161 篇相关文章
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
刚刚，OpenAI发布白皮书：如何在AI时代保持领先
AI发展超多数企业适应能力，早期采用者收入增长更快。9月3日OpenAI发布白皮书，总结与大企业合作经验，给出从战略到治理的五大核心原则及多方面重点建议，助企业在AI时代保持领先。
Databricks × Snowflake 纷纷下注，PostgreSQL 成 AI 时代数据库标准？
文章结合作者对数据基础设施的实践与反思，探讨生成式AI时代数据系统的挑战与机遇。介绍数据基础设施新趋势，分析Neon、Supabase等公司受关注原因，指出PostgreSQL成行业标准，还提出Data Warebase概念及优势和应用场景。
以「场景」定义算力：AI时代，通用算力不只“通用”
当AI狂欢席卷全球，阿里云和AMD通过‘一芯三用’重新定义AI时代算力选型逻辑，从‘参数崇拜’回归‘业务本质’。联合发布三款基于AMD Zen 5架构‘Turin’处理器的全新ECS实例，精准匹配不同业务场景需求。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
白杨SEO：个人/企业如何在AI搜索时代占有一席之地？
白杨SEO作为AI搜索优化GEO研究者，分享个人或企业在AI搜索时代占位方法，指出占位仍有用，只是从关键词匹配变为用户意图匹配，还给出三点占位建议。
00后MIT华人女生辍学创业，已融1.5个亿
00后华人女生Jessica Wu从MIT辍学，创立Sola Solutions，定位RPA界Copilot，获2100万美元融资。公司用LLM和计算机视觉构建自动化流程，已应用多行业，收入增长快。
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
谷歌创始人谢尔盖・布林回母校演讲，复盘谷歌发展，承认曾低估Transformer，让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程，给出对大学生、创业者建议，反思退休决定。