「稀疏注意力」共找到 279 篇相关文章
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
打破显存墙：谢赛宁团队提出CLM，单卡RTX 4090「撬动」1亿高斯点
3D Gaussian Splatting (3DGS) 是流行的新视角合成方法，但显存容量限制其应用于大型复杂场景。谢赛宁团队提出 CLM 系统，基于 3DGS 稀疏性和空间局部性，减少通信开销，可在单卡 RTX 4090 渲染大型场景。
谷歌Gemma 4全系开源：3.8亿激活超越20倍体量模型，手机秒变AI工作站
谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
Claude Code发布Agent View，多任务流的ADHD患者有救了
Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
一个大脑搞定所有模态，百度ERNIE 5.0技术报告公布
模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。
AI圈水太深：OpenAI保密、Meta作弊！国产MoE却异军突起
文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。