技术博客

本文探讨FlashAttention在低精度训练中引发训练不稳定的根本原因。研究表明，在FP16或BF16等低精度环境下，FlashAttention的内存优化机制会意外引入数值偏置，导致权重谱范数异常放大与激活值失控，最终诱发loss爆炸。该现象并非随机误差，而是在特定序列长度与batch size组合下系统性出现。研究提出一种轻量级修正方案：仅在softmax计算中引入微小的数值补偿项（如log-sum-exp稳定化调整），即可显著抑制偏置传播，提升训练鲁棒性，且不增加额外显存开销或推理延迟。

在深度学习大规模模型训练中，BF16精度下的FlashAttention机制虽显著提升显存利用率与数据吞吐量，但易引发梯度异常与loss震荡，导致训练不稳定。实践表明，通过引入轻量级梯度裁剪、调整LayerNorm计算精度（如保持FP32均值/方差）、以及优化softmax归一化数值稳定性等简化调整，可有效缓解该问题。混合精度策略（如BF16主计算+FP32关键参数更新）已成为平衡训练效率与稳定性的主流方案，FP8等更低精度探索亦在加速推进，以进一步释放显存与算力潜力。