「稀疏注意力架构」共找到 2033 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
京东广告大模型实战：GRAM 架构如何在 50ms 内完成生成式推荐？
流量红利见顶，广告营销转型遇挑战。京东张泽华在大会公开应对方案，介绍 GRAM 架构，实现意图与商品语义对齐，控制推理时延，解决冷启动等问题，还分享算法与知识工程实践。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
一封来自Transformer之父的分手信：8年了！世界需要新的AI架构
Transformer之父Llion Jones在TED AI大会上称要把对Transformer的爱好调成「低电量模式」。他认为大量资金与人才涌入使研究被「收窄」，大家只顾卷参数、抢发论文，没人探索新架构，他呼吁找回好奇心。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
痛点突破：YOLOv26引入AAttn区域注意力机制，精度提升1.3个百分点
文章介绍YOLOv26引入AAttn区域注意力机制，解决传统机制在复杂场景下的不足。它通过划分特征图区域学习权重，提升检测精度，且实现简单。经实验验证，精度提升显著，还给出实现细节与优化建议。
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。
字节版龙虾架构火爆GitHub！开源获35k+ Star，内置Skill全家桶，原生适配飞书
字节开源Deer - Flow2超级智能体管理框架，登上GitHub Trending榜首，获35.3k Star。它采用模块化多智能体架构，主打开箱即用，扩展性强，适配多种IM渠道，还介绍了核心能力、部署方式等。
原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态
商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。
腾讯AI战略大升级：组织架构重组与混元世界模型1.5发布
2025年12月17日，腾讯宣布两项重大举措，一是重组AI组织架构，成立新部门并任命首席AI科学家；二是发布混元世界模型1.5，能实时生成可交互3D虚拟世界，应用场景广泛，或引领行业进入‘AI原生’新阶段。