TestNLP

没找到原始的训练好的模型

5

我想在你们的模型基础之上训练自己的模型，没有找到你们的训练好的模型

gate_cnn 模型GPU多卡训练报错

1

python环境： GPU cuda配置 多卡跑bert模型预训练是可以的

你好，我最近在学习BERT，看到你写的代码非常好，我想学习一下，你能把其中用到的数据集给我发一份吗？ LCQMC数据集，您给我一个网盘链接或者发我邮箱[email protected]，非常感谢你！我只是学习使用，不做其他用途。

现在全量训练为啥要设置fp16？这个精度不够，大模型容易导致不收敛，如何设置fp32或者bfp16？[Feature] <title>

1

### Is your feature request related to a problem? Please describe. ### Solutions 无 ### Additional context _No response_

Qlora+sft，微调qwen1.5-72b-int4，卡着没反应，最后Watchdog caught collective operation timeout: WorkNCCL(SeqNum=488, OpType=ALLREDUCE, Timeout(ms)=1800000) ran for 1802602 milliseconds before timing out

1

### Reminder - [X] I have read the README and searched the existing issues. ### Reproduction torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr localhost --master_port 6005 src/train_bash.py --deepspeed ds_zero2.json...

代码跑出来的结果在验证集上效果不佳

34

train: step: 19989, loss: 3.3705480745993555e-05, acc: 1.0, recall: 1.0, precision: 1.0, f_beta: 1.0 train: step: 19990, loss: 5.1190944816426054e-08, acc: 1.0, recall: 1.0, precision: 1.0, f_beta: 1.0 train: step: 19991, loss:...