「动作注意力掩码策略」共找到 503 篇相关文章
全球首款AI原生游戏引擎再进化：GTA6再不来，我们就AI一个
GTA 6跳票成梗，其场景常被用于研究。一个多月前全球首个AI原生UGC游戏引擎发布，如今Mirage迭代为更强大的Mirage 2，支持多样场景，与Genie 3有不同优势且已上线，不过仍有技术问题待解决。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
JCP | 哈工大（深圳）胡钢团队：三维钝体流动中主动流动控制的深度强化跨域迁移学习
本文将基于相互信息的知识迁移学习与柔性动作 - 评论（MIKT - SAC）算法结合，解决主动流动控制中状态和动作维度的跨领域问题。应用于两个测试案例，结果显示该方法优于SAC算法，能显著减少训练时间、降低阻力系数。
给机器人一个会预测未来的Critic，VLA强化学习直接起飞
OpenMOSS团队开源的World Critic Model（WCM），解决了视觉 - 语言 - 动作模型强化学习（VLA - RL）中批评家模型（Critic Model）仅依赖单帧观测打分的问题。WCM让Critic学习预测执行动作后的潜在状态，代码等全开源，验证效果显著。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
AI Agent的上下文工程：构建Manus的经验教训
上下文工程是AI智能体的“系统一”，决定其速度、恢复力与扩展边界。Manus通过试错与用户验证，给出可复用经验，如利用大模型“上下文学习”能力、关注KV - cache命中率等。
陶大程技术博客首发：从像素复刻到行动控制，具身世界模型的底层逻辑探索｜甲子光年
今年世界模型成AI热点，通用世界模型追求像素逼真，具身世界模型不同，其使命是支撑行动。文章拆解具身世界模型底层逻辑，分享开悟世界模型的技术设计与实践思考。
开会最怕那一声尖叫，被腾讯会议用声链干掉了
开会时多人用多台设备入会常出现啸叫、回声问题，以往解决方法成本高或体验差。腾讯会议‘声链’以纯软件方案解决此问题，让设备自由开麦，声音更自然稳定，体现技术价值。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
清华&Qwen最新论文实证： VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型，构建极简 VLM4VLA 测试，发现 VLM 通用能力与机器人操控能力‘零相关’，还揭示视觉编码器短板。