算法论文8

FlashAttention进化：FA-4引领新突破

GiantPandaLLM2025-11-16

AI 摘要

文章回顾FlashAttention从FA-1到FA-4的进化史，指出其核心在于解决Attention性能瓶颈。各版本不断优化，如FA-1算法突破、FA-2架构适配、FA-3深度协同、FA-4探索新异步。未来或在量化、稀疏加速、跨层优化发力。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

清华揭秘BF16 FlashAttention训练「炸掉」原因

社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。

国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。