算法论文8

清华揭秘BF16 FlashAttention训练「炸掉」原因

机器之心2026-03-03

AI 摘要

清华邱海权、姚权铭团队：在BF16低精度训练中，FlashAttention特定条件下触发数值偏置，经低秩更新方向放大致loss爆炸，提出极小修改稳定训练，揭示低精度误差非随机噪声。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

NVIDIA等团队：Sol - RL提速扩散模型训练4.6倍

NVIDIA、港大、MIT团队提出Sol - RL，采用「FP4先探索、BF16再训练」框架，将扩散模型训练收敛速度最高提至4.64x，在速度与对齐效果间给出工程可行解法。

文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。