「自注意力层」共找到 1599 篇相关文章
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
扩散语言模型写代码！速度比自回归快10倍
Inception Labs推出基于扩散技术的大语言模型Mercury，它突破自回归模型限制，生成速度快，还解决了难以回头调整的问题。实测显示其代码生成速度比传统工具最多快10倍，且有强大纠错能力，但面临与当前CI能力不匹配问题。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
Codex自改进Prompt：让AI自己把重复工作变成自动化
开发者Vaibhav更新的Codex自改进Prompt引发AI开发者群体讨论，被OpenAI联合创始人转发。完整版核心逻辑可拆解为8步，加了严格跳过规则。实测有反馈，也有优化建议和现存问题。
科学家发现大脑中的“旋转风暴”，其结构竟类似Transformer注意力机制
2026年6月18日，叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波，总结特征、验证其与全脑及行为关联，还指出其类似Transformer注意力机制，未来将继续深入研究。
芯片团队规模近3000人！小米扩张自研芯片版图
8月24日小米举行玄戒芯片技术沟通会，公布三颗自研芯片：AI旗舰SoC玄戒O3、端侧AI加速芯片玄戒O100、智驾高算力AI芯片玄戒D100。小米重启大芯片研发五年多，投入超210亿，芯片团队近3000人。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
首篇以第一性原理剖析OpenClaw自进化AI社会的论文
截止发文，OpenClaw项目已达192k Star，其衍生的AI Agents社会网络moltbook聚集大量智能体。北邮等团队首次从第一性原理研究，提出“自进化不可能三角”理论，还给出缓解策略。
陶哲轩痛诉很缺钱！科研经费暴跌67%十年最低，自掏腰包科研
美国国家科学基金会削减基础科学资助，数学科学领域资助大降。菲尔兹奖得主陶哲轩痛诉经费不足，自掏腰包做科研，还以“开普勒的橙子”说明基础研究虽短期无用，却能助力科技突破。