微调如何指定GPU

[lukaswangbk]

测试微调的时候发现GPU永远会用第一张卡，请问要怎么指定用那几张卡呢？ 目前尝试了在run.sh中加入CUDA_VISIBLE_DEVICES=1，但是还是第0张卡，在fine_tuning.py中指定os也是不行 以下是我的命令： num_machines=1 num_processes=1 machine_rank=0 CUDA_VISIBLE_DEVICES=3 accelerate launch
--config_file ./configs/sft.yaml
--num_processes $num_processes
--num_machines $num_machines
--machine_rank $machine_rank
--deepspeed_multinode_launcher standard finetune_moss.py
--model_name_or_path fnlp/moss-moon-003-base
--data_dir ./sft_data
--output_dir ./ckpts/moss-moon-003-sft
--log_dir ./train_logs/moss-moon-003-sft
--n_epochs 2
--train_bsz_per_gpu 1
--eval_bsz_per_gpu 1
--learning_rate 0.000015
--eval_step 200
--save_step 2000