Janus icon indicating copy to clipboard operation
Janus copied to clipboard

顺利安装了Janus但是为什么默认用我的cpu?怎么改成gpu?

Open tjw2469 opened this issue 1 year ago • 7 comments

如题 顺利安装了Janus但是为什么默认用我的cpu?怎么改成gpu?

安装流程:

  1. git clone
  2. pip install -e .[gradio]
  3. python demo/app_januspro.py

python版本3.10

tjw2469 avatar Jan 29 '25 17:01 tjw2469

你的显存不够的话会自动用CPU+内存来跑。多大的模型配多大的显存。20G的模型你的显存最好有24G

pantypants avatar Jan 29 '25 17:01 pantypants

你的显存不够的话会自动用CPU+内存来跑。多大的模型配多大的显存。20G的模型你的显存最好有24G

我16G的 vram跑7B的janus模型还不够吗?而且任务管理器里显示gpu根本没工作,纯cpu在跑,机箱风扇都快累坏了,gpu都快冻感冒了

tjw2469 avatar Jan 29 '25 17:01 tjw2469

我也是这个问题,我在想要不要额外安装cuda?

jrnjsyx avatar Jan 30 '25 01:01 jrnjsyx

我试了下,默认安装的torch就是cpu版本的,要用gpu跑,得安装cuda,卸载原有的torch,再pip install对应cuda版本的torch。 我试成功了,原来用cpu跑例子要150多秒,现在十秒以内。 我用的是1B的版本。

jrnjsyx avatar Jan 30 '25 03:01 jrnjsyx

我试了下,默认安装的torch就是cpu版本的,要用gpu跑,得安装cuda,卸载原有的torch,再pip install对应cuda版本的torch。 我试成功了,原来用cpu跑例子要150多秒,现在十秒以内。 我用的是1B的版本。

谢谢你的解答,这应该对后面进来找这个问题答案的朋友有帮助。 不过我当时看了几个视频感觉生成效果还没有flux和sdxl来得更好,就删掉了。 打算先用着forge再说,等后面有更好的版本再用。

tjw2469 avatar Jan 30 '25 04:01 tjw2469

我试了下,默认安装的torch就是cpu版本的,要用gpu跑,得安装cuda,卸载原有的torch,再pip install对应cuda版本的torch。 我试成功了,原来用cpu跑例子要150多秒,现在十秒以内。 我用的是1B的版本。

请教下intel的igpu怎么搞

zyystudio avatar Feb 02 '25 08:02 zyystudio

16G vram janus绝对够的,但是测下来 janus 1.3b模型质量不好。16G vram跑 januspro也可以,但要保证至少有32G的ram,实测下来这样启动时很慢,使用时还可以,gradio中的demo生成4张图要250秒左右,但图片质量跟flux绝对比不了,但优势是这个模型有llm模型的理解能力,就是它能够识别完图片并作出下一步的判断。另外这份开源代码的demo比较简单,根本没有什么打印或日志,所以模型在推理时控制台没有什么输出,没有step,也没有token的处理速度及进度。题主说的没有使用到gpu这个确实是,torch的版本不对,torch要使用gpu版本,且要与cuda版本对应。另外 flash_attn版本页要与torch版本对应,不然会报错

wudidiandian avatar Feb 23 '25 15:02 wudidiandian