lukas Wang

测试微调的时候发现GPU永远会用第一张卡，请问要怎么指定用那几张卡呢？ 目前尝试了在run.sh中加入CUDA_VISIBLE_DEVICES=1，但是还是第0张卡，在fine_tuning.py中指定os也是不行 以下是我的命令： num_machines=1 num_processes=1 machine_rank=0 CUDA_VISIBLE_DEVICES=3 accelerate launch \ --config_file ./configs/sft.yaml \ --num_processes $num_processes \ --num_machines $num_machines \ --machine_rank $machine_rank \ --deepspeed_multinode_launcher standard finetune_moss.py \ --model_name_or_path fnlp/moss-moon-003-base \ --data_dir...

Inference Time 2X Slow

1

Hi all, When I perform finetuned model inference on 2 GPUs and load in 4bit, the speed is 2X slower compared with the original model after 4 bit quantization. The...