MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard
verified publisher icon OpenMOSS

设置两张卡，只使用了一张卡，导致显存溢出报错

Open guiniao opened this issue 2 years ago • 5 comments

一台双3090的服务器，moss_gui_demo.py中设置了os.environ['CUDA_VISIBLE_DEVICES']='0,1'，但是通过nvidia-smi查看，只有一张卡被利用推理，导致显存不够，推理不出来，但实际还有一张卡没有利用，有遇到过类似问题吗

guiniao avatar Apr 25 '23 11:04 guiniao

并行会先加载一张卡再加载另一张，是不是第一张卡剩余显存不够了，加载第一张卡的时候就OOM了

xiami2019 avatar Apr 26 '23 01:04 xiami2019

不是，第一张卡已经在推理了，随着推理进行，一张卡显存占用越来越多，直接蹦了，另一张卡还空着

guiniao avatar Apr 26 '23 02:04 guiniao

moss_gui_demo.py已经更新掉了，请重新pull一下最新的代码~

xiami2019 avatar Apr 26 '23 03:04 xiami2019

不是，第一张卡已经在推理了，随着推理进行，一张卡显存占用越来越多，直接蹦了，另一张卡还空着

这个问题后来有解决不？

AllenWGX avatar May 30 '23 02:05 AllenWGX

@AllenWGX ，moss后面代码更新了，现在他自己处理好了，不需要自己处理了，现在只有非量化模型支持双卡推理，4bit，8bit这种不支持，代码里写了

guiniao avatar Jun 06 '23 03:06 guiniao