搜索：多头潜在注意力

「多头潜在注意力」共找到 283 篇相关文章

马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。

新加坡国立大学等多机构发布大模型潜在空间领域首个系统性全景综述，从“基础—演进—机制—能力—展望”拆解潜空间范式的底层逻辑、技术路径与未来前景，还对比了潜空间与显式空间差异。

现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。

北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。

谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。

字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。

Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。

合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。