「稀疏注意力架构」共找到 2077 篇相关文章
黎曼猜想推至理论边界99.55%！元代理架构AI：在思考中重塑大脑
科学家面临让AI解决复杂科学难题的问题，传统固定架构AI处理特定复杂问题不顺手。近日学术团队提出Eureka架构，能让AI动态“生长”专用“大脑”，在测试中表现出色，还在数学和物理领域有重大成果。
CVPR2026 | 鬼手想点谁就点谁？LaSM让GUI智能体把注意力「收回来」
文章聚焦弹窗式环境注入攻击，指出多模态智能体易受环境干扰致目标漂移。提出 LaSM 方法，通过放缩关键层权重让智能体注意力回到任务，实验显示其提升防御效果，且对正常任务影响小。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
AIAAJ | 西工大张巧、张伟伟等：多专家特征融合网络架构预测跨声速抖振气动噪声
为解决气动噪声数据中流动状态与空间位置分布不平衡导致的MLP预测精度不足问题，本研究提出多专家特征融合网络架构，以跨声速抖振气动噪声为算例评估，可降低MLP算法MSE，泛化性更好。
谷歌T5Gemma重燃架构之战！「套壳」反杀Gemma本尊，9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
快9倍还更清晰？Direct3D-S2一键解锁高效3D生成
在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。