「稀疏注意力优化」共找到 1447 篇相关文章
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
CMAME | 香港理工大学周原野、周恺等：面向清晰几何边界工程优化的拉格朗日拓扑物理信息神经网络
近年来物理信息神经网络引入拓扑优化领域，但结果边界弥散。本文提出“拉格朗日拓扑物理信息神经网络”框架，将显式可变形基础几何体嵌入可微分物理求解器，提升了优化结果的可制造性与精度。
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
苹果App Store榜单优化重要性，榜单优化的主要方式（进阶篇三）
流量探涨，ASO进阶篇，增长人的必备效率手册，带你升级为应用商店推广高手ASO进阶篇知识分为四章，今天更新第
海外chatgpt/gemini的SEO/GEO优化建议
Similarweb 1 月 2 日发布 AI 全球趋势报告，复盘多赛道流量变化。通用 AI 市场竞争激烈，ChatGPT 流量降 22%，Gemini 增 49%；垂直领域头部效应明显。还给出 SEO 和 GEO 优化建议。
OpenAI：我们正朝着什么方向优化 ChatGPT？
OpenAI 官网文章称，ChatGPT 发展方向是成‘对你有用’的工具，不追逐 DAU 或让用户沉迷。它介绍了有用的使用场景，还提及健康使用方面的改进及与专家合作提升响应能力等内容。
SEO是什么？SEO一般指搜索引擎优化
搜索引擎优化（SEO）是网站经营者利用搜索引擎规则提升网站排名的商业行为，目的是在行业内占据领先地位，获取品牌收益。但SEO技术手段多样，黑帽与白帽方法的选择直接影响网站的长期发展。