MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard
verified publisher icon OpenMOSS

推理占的显存不能释放吗，随着问题增多，显存溢出

Open guiniao opened this issue 2 years ago • 3 comments

3090卡在线推理，前面几个问题，推理时间虽然长点，能出结果，随着问题的增加，显存溢出，不是一个问题推理完后，显存自动释放吗，有好解决方案吗。 难道问的问题越多，显存占用越多，不释放，那不是再好的配置，随着问题的增多，显存越来越少。

guiniao avatar Apr 26 '23 02:04 guiniao

image 推理完就可以手动释放显存

zhiqix avatar Apr 26 '23 02:04 zhiqix

我试下，我有两张显卡，也在moss_gui_demo.py中设置了os.environ['CUDA_VISIBLE_DEVICES']='0,1'，但是推理只使用了一张卡，这个设置不起作用吗

guiniao avatar Apr 26 '23 03:04 guiniao

@zhiqix ，我试下，我有两张显卡，也在moss_gui_demo.py中设置了os.environ['CUDA_VISIBLE_DEVICES']='0,1'，但是推理只使用了一张卡，这个设置不起作用吗

guiniao avatar Apr 26 '23 03:04 guiniao