「Transformers v5」共找到 2544 篇相关文章
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
Qwen2.5VL又多一个娱乐场景，看电影讲故事
文章聚焦Qwen2.5VL新娱乐场景“看图讲故事”。介绍视觉叙事目标、挑战，讲述基于StoryReasoning数据集微调Qwen Storyteller模型的解决思路，含核心技术，还给出实战代码及相关链接。
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
谷歌创始人谢尔盖・布林回母校演讲，复盘谷歌发展，承认曾低估Transformer，让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程，给出对大学生、创业者建议，反思退休决定。
刚刚，Gemini 2.5 Pro升级，成编程模型新王
Google DeepMind发布Gemini 2.5 Pro (I/O edition)，编程能力大幅提升，在编程排行榜超Claude 3.7 Sonnet。用户用一个提示词或草图+描述就能构建应用，谷歌大佬站台，网友实测效果佳。
有了它，太丝滑啦，5.3k Star ai-memory！！！
Claude Code 与 Codex 切换时需重述项目情况，5.3k Star 的 ai-memory 解决此问题，它将 Agent 生命周期信息整理成可 Git 管理的 Markdown Wiki，提供可审计的交接班机制。
神秘模型「Pony Alpha」火了，被曝是GLM-5
OpenRouter上线神秘模型“Pony Alpha”，引发网友竞猜。该模型主打编码等，有高工具调用准确率。网友实测其前端能力惊艳。多项证据指向它可能是GLM - 5，春节档多家国产大模型将轮番上阵。