大家有时候在执行下面命令安装flash-attention的时候经常会报错
pip install flash-attn --no-build-isolation遇到这种情况，可以从源码进行安装
git clone https://github.com/Dao-AILab/flash-attention.git cd flash-attention # RTX 4090的话就是8.9 export TORCH_CUDA_ARCH_LIST="8.9" rm -rf build flash_attn.egg-info dist export TMPDIR=$PWD/tmp mkdir -p $TMPDIR git checkout v2.5.7 # 这个过程会比较久，10minutes左右 pip install --no-build-isolation -e .# 安装fused_mlp_lib # 在flash-attention目录下 cd csrc/fused_dense_lib pip install --no-build-isolation .# 安装layer_form # 在flash-attention目录下 cd csrc/layer_norm pip install --no-build-isolation . # 这个编译比较慢哈最后应该会成功哒。
)
