「联合自注意力」共找到 2241 篇相关文章
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
AI自己造AI，概率60%，2028年底前！Anthropic联创坐不住了
Anthropic联合创始人Jack Clark读完数百份公开数据后判断，2028年底前AI自己造AI的概率达60%。他依据编程、科研复现等能力曲线，认为AI工程化生产组件基本齐全，不过AI研究的创意突破仍是关键。
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。
刚刚，Kimi开源新架构，开始押注线性注意力
智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
马斯克xAI自研推理芯片曝光！代号X1、台积电3纳米工艺、明年就量产
马斯克的xAI被曝自研推理芯片X1，用台积电3纳米工艺，2026年三季度量产。此前xAI就为自研芯片招兵买马，还将在西雅图设办事处。此外，特斯拉也在推进自研推理芯片。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
Agent 下半场：真正能自进化的 Agent 应该是什么样的？
当下 Work Agent 难以稳定完成复杂长程任务，且经验无法沉淀。EvoMap 提出自组织蜂群架构，通过 AutoResearch 落地验证，探索 AI4AI 方向，构建记忆和连接的三层产品结构，推动 Agent 网络自进化。