「混合注意力架构」共找到 2115 篇相关文章
"将注意力旋转90°"：深入浅出解读 Kimi 最新出圈成果
Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。
春晚武BOT论文来了！王兴兴署名，同步开源其架构
宇树发布武BOT技术论文，王兴兴署名，同步开源OmniXtreme架构。该架构通过双阶段框架，打破学习和物理可执行性瓶颈，在高保真度与可扩展性间权衡，经测试在真实硬件上表现出色。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
当 Kafka 架构显露“疲态”：共享存储领域正迎来创新变革
沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 长期关注 Apache Kafka 与流处理系统。文章指出 Kafka 架构现局限，介绍下一代开源项目 AutoMQ 借助云原生设计，解决其成本、扩展性与运维痛点，为实时数据流架构提供新视角。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
网易云音乐前 CTO 曹偲：代码越来越不重要，好的架构才是软件工程核心
网易云音乐前CTO曹偲推出AI Coding产品Toco AI，旨在将确定性和工程性带入AI Coding。他认为架构决定软件开发上下限，代码会逐渐黑盒化，业务架构更重要且难被AI取代，产品可助力软件开发。
配置驱动的动态Agent架构网络：实现高效编排、动态更新与智能治理
本文提出配置驱动的独立运行时 Agent 架构，解决低代码/平台化 Agent 方案企业级落地难题。介绍其核心架构、注册中心、配置定义等，还提及 Agent Studio、执行引擎等，阐述运行部署、协作、治理，提供通用可落地范式。
重磅！中国团队发布SRDA新计算架构，从根源解决AI算力成本问题，DeepSeek“神预言”成真？
国内玉盘AI团队发布《SRDA AI大模型专用计算架构》白皮书，提出全新SRDA计算架构，从硬件源头解决AI算力成本瓶颈。它以数据流为核心，在内存、网络等方面创新，为开发者带来高效、低成本等价值。