「Transformer层」共找到 535 篇相关文章
Transformer已死？DeepMind正在押注另一条AGI路线
谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
MiniMax M3 实测：第一流的模型，已经对执行层动手了
文章对 MiniMax M3 模型进行多维度实测。它强化 Coding 与 Agent 能力，能完成长任务，与 Sonnet 4.6 竞技各有优势，多模态能力强，价格有竞争力，MiniMax Code 意在争夺开发者工作流入口。
谢赛宁盛赞字节Seed新研究！单Transformer搞定任意视图3D重建
字节Seed康炳易团队的最新研究成果Depth Anything 3（DA3），获谢赛宁盛赞。它架构简单，能从多种输入中精准算出物体深度、还原相机位置，在新视觉几何基准上表现出色，核心秘诀是极简设计。
日本AI王者，CTO是Transformer之父，刚拿下世界编程竞赛冠军
在ICFP 2025编程大赛中，日本Sakana AI的「Team Unagi」以人机共创模式夺冠。其AI系统「ShinkaEvolve」优化代码，性能提升近十倍，还启发人类思维。Sakana AI以自然进化为理念，探索AI新范式。
无Tokenizer时代真要来了？Mamba作者再发颠覆性论文，挑战Transformer
Mamba作者之一Albert Gu参与的论文提出分层网络H - Net，用动态分块取代tokenization。Tokenization虽能压缩序列但有缺点，H - Net在多方面表现出色，或预示无需Tokenizer训练时代到来。
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”
前OpenAI安全研究副总裁翁荔在新博客聚焦AI领域Harness Engineering。她认为Harness是决定模型在现实任务中走多稳、多远的‘脚手架’，并梳理其演进路线，也指出研究面临评估、安全等瓶颈。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。