搜索：混合注意力模型

「混合注意力模型」共找到 7887 篇相关文章

Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究

西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。

蚂蚁灵波开源的LingBot - Map模型实现无尽流，可看∞帧视频稳定实时3D重建。它打破“既要实时、又要记路、还要省显存”的不可能三角，在多项测试中表现优异，补齐具身智能关键拼图。

近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。

大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。

影石研究院发布单目新视角合成模型UniSHARP，可通过单次推理秒级获场景高斯点云，支持混合相机训练与免标定推理，适配所有相机。团队还构建数据集、设benchmark，代码等均已开源。

大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。

视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。

港大HKUDS团队开源超长视频理解框架VideoRAG，突破传统模型时长限制，支持对数百小时视频精准检索和问答。还有桌面应用Vimo，使用简单高效。介绍了其切片索引、混合检索、生成回答的实现逻辑。

华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。

在大数据和大模型推动下，遥感微调技术从全参数微调发展到混合微调。清华等团队在CVMJ期刊梳理技术脉络，涵盖适配器、提示等微调方法，还指出9个潜在研究方向，助力遥感技术应用。