搜索：闪电注意力机制

「闪电注意力机制」共找到 996 篇相关文章

领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

本文针对三维机翼流场重构难题，提出DPAtt - UNet++框架，融合几何隐式编码、多尺度注意力与物理规律约束。实验表明，其重构精度高，预测速度较CFD提升2 - 3个数量级，为飞行器气动分析提供新路径。

传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。

香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。

近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。

字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。

随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。

Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。