ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

请问如何在bash文件中设置wandb的相关参数呢

Open 128Ghe980 opened this issue 1 year ago • 1 comments

现在训练需要放到集群上跑,集群没法提前登录wandb,也需要提前设置好所有的参数,应该怎么设置才好呢 当前bash:

WANDB_API_KEY="XXX" wandb login --relogin $WANDB_API_KEY deepspeed --hostfile=/root/hostfile_remote
/root/ms-swift/swift/cli/rlhf.py
--rlhf_type dpo
--model $MODEL
--model_type $LLM_TYPE
--train_type full
--dataset $DATA
--num_train_epochs 1
--learning_rate 5e-6
--gradient_accumulation_steps $gradient_accumulation_steps
--save_steps 2000
--save_total_limit 3
--deepspeed zero2
--logging_steps 1
--max_length 10240
--report_to wandb

128Ghe980 avatar Jan 02 '25 03:01 128Ghe980

试一下在swift命令前输入export WANDB_API_KEY=xxx export WANDB_API_KEY=xxx CUDA_VISIBLE_DEVICES=0,1
NPROC_PER_NODE=2
swift rlhf
--rlhf_type grpo
......

BrodicVan avatar Nov 18 '25 10:11 BrodicVan