flash_attn安装比较麻烦。
方法1：whl安装
检查版本：
nvcc -V
ldd --version
如果 > 2.32，flash-attn 可以从https://github.com/Dao-AILab/flash-attention/下载编译好的whl包。
注意torch和cuda版本。
torch不需要完全对应，相近就行。
方法2：pip 编译
pip install packaging
pip install ninja
MAX_JOBS=32 pip install flash-attn --no-build-isolation
GCC报错：版本太低
error "You're trying to build PyTorch with a too old version of GCC. We need GCC 9 or later."
用conda安装gcc
conda install -c conda-forge gcc_linux-64=11 gxx_linux-64=11# Conda compilers use specific environment variables
export CC=$CONDA_PREFIX/bin/x86_64-conda-linux-gnu-gcc
export CXX=$CONDA_PREFIX/bin/x86_64-conda-linux-gnu-g++