「Merge Attention States」共找到 90 篇相关文章
"将注意力旋转90°"：深入浅出解读 Kimi 最新出圈成果
Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
OpenAI和奥特曼将投资一家脑机接口公司，直接与马斯克的Neuralink竞争
据《金融时报》报道，OpenAI及其联合创始人山姆・奥特曼将投资Merge Labs，该公司目标是连接人脑与计算机，此举将与马斯克的Neuralink竞争。此外，奥特曼和马斯克还围绕AI在X上展开骂战。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
对骂之外，奥特曼正筹划脑机接口新公司，狙击马斯克的Neuralink
山姆·奥特曼正筹划脑机接口公司Merge Labs，对标马斯克的Neuralink。新公司以8.5亿美元估值融资2.5亿，OpenAI或投。此时，二人在X上因苹果推广ChatGPT起争执，脑机接口竞赛也将开启。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
盘一盘，2017年Transformer之后，LLM领域的重要论文
本文梳理2017年Transformer后LLM领域重要论文。如提出Transformer架构的论文成现代AI基石；介绍GPT - 3的论文确立‘大模型 + 大数据’缩放定律，引领LLM军备竞赛等。还列举各论文内容与影响。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。
88%的公司在用AI，但只有39%吃到真金白银？麦肯锡2025 AI报告来了！
麦肯锡《The State of AI in 2025》显示，88%受访企业用AI，但仅39%获财务回报。多数企业AI在试点，Agent落地少，高绩效企业享红利，AI岗位影响招聘结构。
万字长文梳理「罗福莉」三个半小时的访谈：2026年不是Agent元年，是生产力爆发年
小米大模型负责人罗福莉在访谈中复盘技术剧变，分享对OpenClaw的认知转变，阐述Agent框架本质，介绍MiMo V2架构选择，探讨人跟Agent共创、多模态Agent等内容，判断2026年生产力将爆发。