「双Transformer架构」共找到 2065 篇相关文章
非Transformer架构落地之王，带着离线智能和原生记忆能力在上海WAIC浮出水面
在上海WAIC现场，RockAI展台的机器狗和灵巧手在离线状态表现出色，背后是其非Transformer架构的大模型Yan 2.0 Preview，有原生记忆和离线智能能力。该公司成立两年，押注此架构，产品已商业落地，还构想群体智能未来。
统治AI十年的Transformer，要被亲爹亲手砸碎？
5月5日旧金山的辩论赛上，Transformer联合发明人Łukasz Kaiser为其作品辩护，三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线，否则Transformer仍是主流，还给出具体辩护。
通过架构建议流程实现架构决策的去中心化
Andrew Harmel - Law 在 Goto 大会提出架构建议流程，认为传统架构实践不可扩展，架构需去中心化。该流程让任何人可做决策，只需向受影响者和专家寻求建议，还提到失效模式及实践转变。
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
盘一盘，2017年Transformer之后，LLM领域的重要论文
本文梳理2017年Transformer后LLM领域重要论文。如提出Transformer架构的论文成现代AI基石；介绍GPT - 3的论文确立‘大模型 + 大数据’缩放定律，引领LLM军备竞赛等。还列举各论文内容与影响。
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
Transformer亲爹痛斥：当前AI陷死胡同，微调纯属浪费时间！
Sakana AI创始人Llion Jones是Transformer发明者之一，他警告当前Transformer虽成功，但业界或重蹈RNN覆辙，无数微调是浪费时间。他认为现在LLM非通用智能，已转向探索生物学启发的新架构。
重构线性视觉Transformer，精度与效率双平衡 | CVPR'25
南洋理工、北航与合工大联合提出CARE Transformer，以非对称解耦建模局部与全局，降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度，打破“效率与精度不可兼得”困局。
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。