「稀疏注意力架构」共找到 2033 篇相关文章
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
AIAAJ | 西工大张巧、张伟伟等：多专家特征融合网络架构预测跨声速抖振气动噪声
为解决气动噪声数据中流动状态与空间位置分布不平衡导致的MLP预测精度不足问题，本研究提出多专家特征融合网络架构，以跨声速抖振气动噪声为算例评估，可降低MLP算法MSE，泛化性更好。
谷歌T5Gemma重燃架构之战！「套壳」反杀Gemma本尊，9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
快9倍还更清晰？Direct3D-S2一键解锁高效3D生成
在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。
AI圈水太深：OpenAI保密、Meta作弊！国产MoE却异军突起
文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。