CAN icon indicating copy to clipboard operation
CAN copied to clipboard
verified publisher icon LBH1024

CUDA out of memory

Open nicolasNi opened this issue 3 years ago • 5 comments

随着不断的训练显存占用逐渐升高，最终会超出显存。

nicolasNi avatar Aug 27 '22 14:08 nicolasNi

你好，使用32GB的显卡应该不会超出最大显存，如果是使用显存较小的显卡，在数据处理的时候可以适当降低最大宽高。

LBH1024 avatar Aug 27 '22 15:08 LBH1024

如果是降低最大宽高，那么会影响最终的ExpRate吗？

SuperHHzy avatar Aug 31 '22 07:08 SuperHHzy

如果是降低最大宽高，那么会影响最终的ExpRate吗？

训练的时候数据是随机取的，如果一个batch里面既有很高的图像又有很宽的图像，那么这个batch的宽高会比较大，可以设置条件进行过滤，过滤掉的图像只是不在这个batch内部出现，所以应该不太会影响。

LBH1024 avatar Aug 31 '22 09:08 LBH1024

我想我应该明白了，谢谢你的回复

SuperHHzy avatar Aug 31 '22 11:08 SuperHHzy

你好，使用32GB的显卡应该不会超出最大显存，如果是使用显存较小的显卡，在数据处理的时候可以适当降低最大宽高。

你好，请问下，再哪里设置图像的最大宽高呢？我看config.yaml里面好像没有图像宽高相关的配置

SuperHHzy avatar Sep 26 '22 03:09 SuperHHzy