「混合注意力」共找到 412 篇相关文章
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。
视频生成比播放还快：开源VDN-H3，14秒视频11秒搞定
近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。
论文深度解读：大模型（LLM）加持下的自主无人机分层智能体框架，实现自主规划
文章解读《A Hierarchical Agentic Framework for Autonomous Drone-Based Visual Inspection》论文，介绍分层智能体框架让无人机群自主规划。研究对比三种‘思考模式’与不同‘大脑’组合，还指出未来研究可开发混合系统、混合能力智能体及自适应系统。
详解Github 35K+项目：打通200+数据源，构建企业级AI的数据统一入口，支持MCP【下篇】
本文继续介绍MindsDB这款开源AI数据引擎，阐述知识库与混合检索应用，如创建向量索引、语义检索、多源混合检索等；还提及RAG与数据智能体，包括构建RAG管道和配置Data Agent；最后给出应用建议，称其适合复杂企业环境。