算法论文8
谷歌新模型超越Transformer
新智元
AI 摘要
谷歌：提出新架构，参数减少、训练提速，性能超Transformer。引入注意力偏向和保留门，构建Moneta、Yaad、Memora新模型，在多任务表现优，解决原模型诸多问题。
阅读原文 · 新智元
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用7
谷歌 GR2 模型：让机器人有了‘腿’
谷歌发布 Gemini Robotics 2（GR2），能将相机图像和文字指令转为机器人关节控制命令，可同时控制人形机器人腿、躯干、手臂和手部，简化模型训练和设计，不过谷歌未公布其基础模型等信息。
DeeplearningAI
算法论文8
COLM三篇论文暴击Transformer祖传设计
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
量子位
新闻资讯7
谷歌拆分DeepMind，布林力促Gemini
DeepMind换帅一周后震荡持续，谷歌将拆分它，把部分非技术团队转入谷歌汇报体系。谷歌联合创始人谢尔盖·布林重新介入Gemini。此外，Gemini因算力、内讧、官僚等问题落后。
量子位
新闻资讯7
Jeff Dean离职谷歌，转身创业忙
Jeff Dean在顶会KDD 2026晒出自己在谷歌离职前48小时的时间表。他忙碌告别，还正常上课、踢球，最后一刻“失业”，旋即成为Discovery Loop联创兼CEO。他为谷歌贡献巨大，告别会有1500人参加。
量子位