搜索：动作注意力掩码策略

「动作注意力掩码策略」共找到 503 篇相关文章

具身智能稀缺的数据，可能藏在这个游戏手柄里？

游戏录屏平台Medal掌握的玩家操作记录成机器人模型训练核心数据。其创始人皮姆创办General Intuition获高额融资，该公司用游戏录像预训练动作模型，但也面临数据多元性、任务表现及合作模式等问题。

Claude实验室推出Claude Design功能，只需输入一句话就能生成可交互完整原型，让Figma等设计公司股价跳水。它或让画图动作消失，引发对设计师职业是否会被取代的思考，Anthropic还在下更大的棋。

复旦、创智联合推出RSAgent，让多模态大模型通过多轮工具调用生成准确掩码，解决视觉分割难题。该工作入选ICML 2026，实验显示其在多个测试集上表现领先，还展示了从‘看图问答’到‘视觉行动’的路径。

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。

淘天集团未来生活实验室团队提出首个3D动作游戏专用VLA模型CombatVLA，已被ICCV 2025接收。它能处理视觉输入输出动作指令，在战斗理解准确率和执行速度上表现优异，还构建了评测基准等。

普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。

现有强化学习算法基于理想化交互模式，难应对真实环境。Mila 实验室两篇 ICLR 2025 论文提出实时强化学习框架，分别解决推理延迟和动作缺失问题，还可结合使用，对关键领域意义重大。

2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。

大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。