「混合线性注意力架构」共找到 469 篇相关文章
Meta详细阐述基于LLM级训练、混合并行计算与知识迁移的GEM广告模型
Meta发布生成式广告模型GEM详细信息，旨在改善平台广告推荐能力。它处理海量用户 - 广告交互数据，用三种方法构建系统，还实施GPU级优化，采用两种知识迁移策略，获业内人士认可。
全新稀疏注意力优化！腾讯最新超轻量视频生成模型HunyuanVideo 1.5核心技术解密
腾讯混元大模型团队发布并开源轻量级视频生成模型HunyuanVideo 1.5，参数8.3B，支持5 - 10秒高清视频生成。它通过多层次技术创新，在生成效果、性能与尺寸上实现平衡，还具备多种核心能力。
Andrej Karpathy 辣评Veo 3：视频生成将直接优化人类的注意力，TikTok只是弟弟
Andrej Karpathy发文对Google的Veo 3视频生成模型发表见解，指出视频生成技术进步带来四个关键转变，认为视频将成AI与人类交流绝佳界面，也引发众人对其利弊的讨论。
Claude 4发布！AI编程新基准、连续编码7小时，混合模型、上下文能力大突破
今天凌晨Anthropic开发者大会发布Claude 4，含Claude Opus 4和Claude Sonnet 4。前者是顶尖编码模型，后者是Sonnet 3.7重大升级。还发布系列产品，定价不变，已上线Amazon Bedrock。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
AMM｜西工大 董戴玮、索玮、寇家庆、张伟伟：PINN-MG——受多重网格启发的迭代法与物理信息神经网络混合求解框架
西北工业大学团队提出PINN - MG框架，结合迭代法与物理信息神经网络。迭代法消除局部高频振荡误差，PINNs校正全局低频误差，在多方程测试中加速效果显著，还克服不定亥姆霍兹方程求解发散问题。
EAAI | 西工大夏明坤，张伟伟等：分层无量纲学习：一种物理和数据混合驱动的无量纲关联参数提取方法
在流体力学研究中，高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法（Hi - π），通过物理、压缩、映射三层架构自动提取关键无量纲参数组合，在多个算例中表现良好，为参数降维与知识发现提供新思路。