S-Tyra

我在`GPU: 1*A100, CPU: 8, 显存: 40GB, 内存: 50GB`上对7B的模型做SFT爆了。 我的训练配置如下： ``` deepspeed \ --include="localhost:0" \ ./train_sft.py \ --deepspeed ./ds_config/ds_config_zero3.json \ --model_name_or_path /code/TigerBot-sft \ --dataset_name TigerResearch/dev_sft \ --do_train \ --output_dir /tmp/output \...