ms-swift
ms-swift copied to clipboard
请问如何在bash文件中设置wandb的相关参数呢
现在训练需要放到集群上跑,集群没法提前登录wandb,也需要提前设置好所有的参数,应该怎么设置才好呢 当前bash:
WANDB_API_KEY="XXX"
wandb login --relogin $WANDB_API_KEY
deepspeed --hostfile=/root/hostfile_remote
/root/ms-swift/swift/cli/rlhf.py
--rlhf_type dpo
--model $MODEL
--model_type $LLM_TYPE
--train_type full
--dataset $DATA
--num_train_epochs 1
--learning_rate 5e-6
--gradient_accumulation_steps $gradient_accumulation_steps
--save_steps 2000
--save_total_limit 3
--deepspeed zero2
--logging_steps 1
--max_length 10240
--report_to wandb
试一下在swift命令前输入export WANDB_API_KEY=xxx
export WANDB_API_KEY=xxx
CUDA_VISIBLE_DEVICES=0,1
NPROC_PER_NODE=2
swift rlhf
--rlhf_type grpo
......