推理大一点的图片非常慢，请问作者有推出小模型的计划吗

Open zhu2bowen opened this issue 2 years ago • 6 comments

如题，谢谢！

Nov 09 '23 06:11 zhu2bowen

多久

Nov 09 '23 07:11 fusu192

@fusu192 一张要若干分钟

Nov 09 '23 07:11 zhu2bowen

正常

Nov 22 '23 01:11 xuejuhao

你好~ 推理速度慢的原因在于UNet，而预训练的UNet结构已经固定了，所以暂时没办法减少它的参数量，除非使用蒸馏过后的sd作为生成先验。我之后更新的重点会放到工程优化上，现在打算先参考sd webui里的一些优化技巧来降低显存占用，然后再看看怎么提高推理速度~

Dec 15 '23 12:12 0x3f3f3f3fun

你问了一个现在全世界都很难解决的问题...

Feb 25 '24 03:02 YilanWang

慢还有一个原因是是分辨率大，attention的时间复杂度上升导致的。不过模型大小和分辨率，哪个比重更高就不清楚了～

Apr 10 '24 13:04 jiaxiangc