搜索：稀疏注意力机制

「稀疏注意力机制」共找到 1044 篇相关文章

AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究

本文针对三维机翼流场重构难题，提出DPAtt - UNet++框架，融合几何隐式编码、多尺度注意力与物理规律约束。实验表明，其重构精度高，预测速度较CFD提升2 - 3个数量级，为飞行器气动分析提供新路径。

传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。

香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。

近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。

据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。

字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。

随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。

Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。

高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。