搜索：两阶段注意力机制

「两阶段注意力机制」共找到 1639 篇相关文章

Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究

西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。

在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。

当前不同框架的Agent知识无法互通，谷歌、耶鲁、字节、oppo等团队联合提出Agent KB，这是通用记忆基础设施，能让异构Agent框架共享经验。它有师生双阶段检索机制，实验验证其能带来显著增益。

现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。

北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。

谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。

OCR是上古任务，如今大模型纷纷入局，用1B以下小参数模型搅动解析市场。GLM-OCR能做文本识别等，采用三级架构，有两阶段流水线及训练机制创新，在多场景表现出色。

中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。

微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。