Multi-gpu card loading inference?

[lonngxiang]

https://github.com/modelscope/DiffSynth-Studio/blob/main/examples/image_synthesis/kolors_text_to_image.py

how to use multi gpus?

[lonngxiang]

怎么使用多gpu进行推理？

[lonngxiang]

奇怪，单卡4090 kolos加lora模型都可以正常推理；但是用上面链接代码直接加载kolos模型就显示显卡不足

[Artiprocher]

这个脚本做了高分辨率修复，会把 1024 分辨率再超分到 2048，这一步可能会出现显存不足的情况

[lonngxiang]

这个脚本做了高分辨率修复，会把 1024 分辨率再超分到 2048，这一步可能会出现显存不足的情况

嗯，麻烦这边项目支持多gpu推理吗

[Artiprocher]

@lonngxiang 不支持

[luoan7248]

加载lora权重推理怎么一次生成多张图片呀，我也没找到对应的参数配置。