「GQA」共找到 4 篇相关文章
算法论文8
刚刚，英伟达革了自己的命：智能体自主进化7天，干掉所有算子工程师、GPU专家
英伟达新研究AVO构建了新型进化变异算子，用自主编码智能体取代经典方法。智能体7天自主进化，优化MHA内核，性能超cuDNN和FlashAttention - 4，还能快速适配GQA，展现强大泛化能力。
机器之心
推荐文章8
必看！Sebastian Raschka新博客盘点了所有主要注意力机制
著名AI技术作家Sebastian Raschka发布博客《现代LLM中注意力变体的可视化指南》，回顾近年开发并用于开放权重架构的注意力变体，包括多头、分组查询、多头潜在等注意力机制，还分析各机制特点、应用场景及优劣势。
机器之心
算法论文8
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
量子位
开源动态8
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。
AI科技评论