「线性注意力架构」共找到 2082 篇相关文章
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
LangChain官方实测：多智能体架构怎么选？
构建AI Agent时，单智能体应对复杂场景易“变笨”且难维护。LangChain官方评测主流多智能体架构，在复杂零售场景实验，对比单智能体、Swarm、Supervisor架构的性能、成本，还给出优化Supervisor架构的方法。
高通Nuvia架构介绍
本文详细介绍高通Nuvia架构。Nuvia由经验丰富芯片设计师创立，后被高通收购，旨在强化自研技术、拓展市场。Oryon CPU架构是其成果，虽面临法律争议，但设计独特，多方面表现出色，还具备安全功能和较高性能。
罗福莉剧透小米MiMo v3架构：模型还没影，论文全说了
小米罗福莉提前剧透MiMo v3核心新架构HySparse2，该架构针对Agent多轮任务中长上下文输入处理成本高的痛点优化，相关论文已公开，模型尚未正式发布，文中披露了架构设计与实验效果数据。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。