Bert-Chinese-Text-Classification-Pytorch icon indicating copy to clipboard operation
Bert-Chinese-Text-Classification-Pytorch copied to clipboard
verified publisher icon 649453932

关于batchsize的问题

Open ai169 opened this issue 5 years ago • 4 comments

我的内存总是显示溢出，网上说可以调小batchsize，但这里的batch_size在哪啊

ai169 avatar Nov 02 '20 07:11 ai169

models/bert.py里的config类中的batch_size

ChenggangLu avatar Nov 03 '20 03:11 ChenggangLu

models/bert.py里的config类中的batch_size

感谢已经解决了

ai169 avatar Nov 03 '20 08:11 ai169

目前用的笔记本，显卡GTX1650（4G显存）, 装了pytorch1.7.1 + cuda11.2 + cudnn8.0.5。

使用bert模型进行训练，原先batch_size=32，就容易报显存不足。 后面调整batch_size=15，勉强可以跑了，显存占用比在68%～98%左右，如果碰到更大的数据集或者调大batch_size，可能还是会报显存不足。

Samge0 avatar Dec 21 '20 10:12 Samge0

目前用的笔记本，显卡GTX1650（4G显存）, 装了pytorch1.7.1 + cuda11.2 + cudnn8.0.5。

使用bert模型进行训练，原先batch_size=32，就容易报显存不足。 后面调整batch_size=15，勉强可以跑了，显存占用比在68%～98%左右，如果碰到更大的数据集或者调大batch_size，可能还是会报显存不足。

在服务器上面跑吧

haoc111 avatar Mar 11 '21 02:03 haoc111