多卡运行

Open donutn opened this issue 1 year ago • 2 comments

作者您好，直接使用python app.py还是会只在一张卡上运行，且24Gtitan卡单卡运行会out of memory，是正常的吗

May 17 '24 01:05 donutn

你的环境是多卡的吗？运行python -c "import torch; print(torch.cuda.device_count())"看看？

May 18 '24 03:05 bluestyle97

你的环境是多卡的吗？运行python -c "import torch; print(torch.cuda.device_count())"看看？

对的，是8张，但我运行之后的run.py是没问题的，可以在24G显卡上跑完全部的，可能是app.py，部署gradio需要显卡一些额外的资源（oom主要是在重建时

May 26 '24 13:05 donutn