「Flash Attention 2」共找到 2031 篇相关文章
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
提示词分享：帮助在 Hacker News 或者 Reddit 这样的讨论贴中提取精华内容
分享了在 Hacker News 或 Reddit 讨论贴提取精华内容的提示词，介绍最佳模型为 Gemini 2.5 Pro，还给出角色定位、工作流程、写作风格技巧及禁止出现的表达方式。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
谷歌版小钢炮开源！0.27B大模型，4个注意力头，专为终端而生
谷歌开源Gemma 3 270M，几分钟就能完成微调，性能超Qwen 2.5同级模型。此模型小巧高效，可本地运行，还能用它构建OCR应用。它有多项亮点，适合多场景，上手简单。
98%准确率！这个双分支AI模型，精准识别木薯叶病害（附代码）
2026年3月论文DenseSwinV2提出双分支AI模型，结合CNN与Transformer，加通道注意力模块突出病害特征。该模型分类木薯叶病害准确率达98.02%，还给出简化版代码，有落地价值。
被DeepSeek带火的OCR，最新8个开源模型盘点~
DeepSeek-OCR发布让OCR大热，PaperAgent梳理盘点8个热门开源OCR模型，如DeepSeek-OCR用‘上下文光学压缩’技术，Nanonets-OCR2-3B以零样本视觉链式思维为核心等。
吴恩达来信：当防护机制出问题时
本周，闭源模型用户意外发动网络攻击，闭源模型因防护机制无法协助防御，开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任，开放模型能让技术更透明安全。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。