「自注意力层」共找到 1530 篇相关文章
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
顶会SOSP'25最佳论文，被一个国产自研操作系统拿下
国产自研开源操作系统星绽的学术论文获顶会SOSP'25最佳论文。它专注高可扩展内存管理研究，兼顾性能与安全。星绽由多单位联合研发，用Rust语言，解决传统系统难题，已有多篇论文被国际顶级学术会议录用。
Cursor自研模型反超Opus 4.6！价格脚踝斩，氛围编程沸腾了
Cursor新编程模型Composer 2性能超Claude Opus 4.6，价格“脚踝斩”。它靠引入新强化学习方法，让模型学会“做笔记”突破上下文瓶颈，在任务中表现出色，研究员还放出Composer 3消息。
迎接智能体的「觉醒时刻」：EverOS全球公测开启Agent Memory自进化序章
随着主动执行型 Agent 爆发，AI 向自我演化智能体跃迁，但现有 Agent 有诸多痛点。EverMind 团队公测专为自我演化智能体设计的记忆底座 EverOS，它依托核心算法与进化引擎，提升任务成功率，解决多项技术难题。
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
ICCV2025 | 多视图生成新范式-利用自回归模型探索多视图生成
本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。
大模型训练的不稳定性有望彻底解决，MIT新研究用谱正则化替代层归一化
MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。