「混合注意力架构」共找到 2115 篇相关文章
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
EAAI | 西工大夏明坤，张伟伟等：分层无量纲学习：一种物理和数据混合驱动的无量纲关联参数提取方法
在流体力学研究中，高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法（Hi - π），通过物理、压缩、映射三层架构自动提取关键无量纲参数组合，在多个算例中表现良好，为参数降维与知识发现提供新思路。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
本文针对三维机翼流场重构难题，提出DPAtt - UNet++框架，融合几何隐式编码、多尺度注意力与物理规律约束。实验表明，其重构精度高，预测速度较CFD提升2 - 3个数量级，为飞行器气动分析提供新路径。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。
RAG 2.0 深入解读
文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
视频生成比播放还快：开源VDN-H3，14秒视频11秒搞定
近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。
YC总裁开源个人AI记忆系统GBrain：让你的OpenClaw/Hermes长脑子
YC总裁Garry Tan开源GBrain，这是经实战检验的AI记忆中枢。它有真实数据规模、混合搜索架构等特点，核心工作流含实体检测等。技术选型有考量，还提供体验方式和技能包文档。
准确率提升至 90%，阿里商旅基于 AgentScope 构建多智能体差旅助手最佳实践
阿里商旅依托阿里巴巴生态，旗下AliGo差旅助手可实现业务闭环。早期单智能体模式有瓶颈，后基于AgentScope构建多智能体系统，从技术选型、架构设计等多方面优化，事项收集准确率提至90%+，还解决诸多问题并获奖。
清华系团队出手！一张 4090 即可「爆改」，1.3B小钢炮震撼开源
5月11日，清华系团队面壁智能联合多方开源端侧多模态大模型MiniCPM-V 4.6。它参数仅1.3B，性能超阿里、谷歌等同级对手，效率翻倍，还实现两项架构创新，适配主流开源生态，降低开发门槛。