「自注意力层」共找到 1530 篇相关文章
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
全新开源视频换装框架MagicTryOn
现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
评论送书 | 想系统了解AI？先搞清楚这四件事
文章围绕系统了解AI需搞清楚的四件事展开，介绍了AI理论基础层的机器学习和深度学习，感知交互层的计算机视觉等，应用实践层的机器人学等，还提及伦理社会层的AI伦理和社会影响研究。
大模型私有化火了：百万一台的一体机卖疯，最赚钱的一层却没人愿干
文章指出大模型私有化部署虽因合规、开源模型及国产算力发展而兴起，但利润结构呈哑铃状。算力层规模大但毛利低，模型层因开源难盈利，交付层最赚钱却因项目制难规模化，国际市场也类似。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所、腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。