算法论文8
FlashAttention进化：FA-4引领新突破
GiantPandaLLM
AI 摘要
文章回顾FlashAttention从FA-1到FA-4的进化史，指出其核心在于解决Attention性能瓶颈。各版本不断优化，如FA-1算法突破、FA-2架构适配、FA-3深度协同、FA-4探索新异步。未来或在量化、稀疏加速、跨层优化发力。
阅读原文 · GiantPandaLLM
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华揭秘BF16 FlashAttention训练「炸掉」原因
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
机器之心
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。
机器之心
算法论文9
扩散新范式Hi-DiT终结路线之争
中科大与智象HiDream.ai团队提出混合潜空间-像素空间扩散新模型Hi-DiT，解决了两类传统扩散路线各自的瓶颈，论文被ECCV 2026接收，在多个主流图像生成任务上取得优异性能，仅小幅增加计算开销。
量子位
算法论文8
V-Rubrics细化多模态强化学习奖励
本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法，解决多模态推理中结果正确但推理错误的奖励分配误区，通过35万条细粒度准则拆分奖励计算，有效提升模型性能，论文已被EMNLP 2026主会接收，代码与数据已开源。
机器之心