搜索：动作注意力掩码策略

「动作注意力掩码策略」共找到 503 篇相关文章

ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

布朗大学和机器人与人工智能研究所团队提出 NovaFlow 框架，利用视频生成模型常识知识，让机器人“看片”自学。它将任务理解与控制解耦，通过生成视频提取动作流，实现零样本操控，为通用机器人提供新路径。

春晚上，宇树机器人展现高动态、高协同的全自主集群控制技术。现在，多机构提出 OmniXtreme 通用策略，可执行各种极限动作。该框架分两阶段，经测试在仿真和现实中表现出色，打破了泛化壁垒。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。

美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。

当下具身智能赛道两大流派各有短板，银河通用推出跨本体「隐式世界 - 动作基础模型」LDA - 1B，走自研WAM路线，成果已开源。它打破数据割裂难题，解锁具身智能「GPT - 2时刻」，在多方面展现优势。

现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。