zeminroot

问题1：安装xformers之后就无需单独安装flashattention即可使用flashattention了吗？ 问题2：在安装xformers的时候无法避免自动安装torch2.0或者torch1.12，torch2.0和requirements.txt中的各个包版本是否匹配兼容呢？是否有办法避免安装xformers的时候自动安装torch2.0或者torch1.12呢？

trainer.py中是否缺失导包import numpy as np

单机多卡训练qwe1b8的问题

1

单机多卡训练qwen1b8 qlora的时候报错如下，单卡训练实验正常

关于flashattention的问题

1

请教一下，您使用的flashattention是什么版本呢？使用的是什么显卡呢？目前由于显卡的问题需要尝试安装1.x版本的flashattention，安装后出现一些列错误。