rainsoulsrx

Results 28 comments of


                                            rainsoulsrx

有关于效果展示

> 数据开源问题将在别的issue中讨论。请问会开源训练代码让我们用自己的数据去finetune开源的模型吗？因为测试下来在一些场景上的表现不太好，比如人像场景，原始图糊的测试图，模型结果还是比较糊，只是有很微弱的提升。

有关于效果展示

> 如果您能反映这些failure cases就最好了，我们估计是使用方法导致的问题。可以邮件给我们这些图我们来试一试你好，感谢您的及时回复，我邮件发您了一些图，烦请帮忙看一下。

> > 如果您能反映这些failure cases就最好了，我们估计是使用方法导致的问题。可以邮件给我们这些图我们来试一试 > > 你好，感谢您的及时回复，我邮件发您了一些图，烦请帮忙看一下。我看到您在其他的问题下面回复说正在把人脸restoration的模块加入进来，所以针对人脸效果不好的问题是已经明确了吗，不是使用方法导致？那么为什么对于人脸的表现不好呢，是因为数据不足导致的吗？因为我看文章里面也提到专门加入了FFHQ的数据集。

明星人脸无法下载

同求！~~

使用更大规模的数据训练，会有更好的效果吗？

> 你好，SUPIR我不是很了解，你可以询问SUPIR的作者来获取准确的回答~。关于DiffBIR，我们昨天更新了一版模型，训练数据用的是过滤（比较粗糙）之后的laion2b-en的子集，总共1500w张高清图片，但是效果没有SUPIR那么明显的提升，我觉得原因可能是：1）SD v2.1的生成能力有限 2）数据集不完整，存在bias，后续需要再仔细调整一下。 supir的作者一直没有回复我o(╥﹏╥)o所以更加感谢你的回复~~！！

使用更大规模的数据训练，会有更好的效果吗？

> 你好，SUPIR我不是很了解，你可以询问SUPIR的作者来获取准确的回答~。关于DiffBIR，我们昨天更新了一版模型，训练数据用的是过滤（比较粗糙）之后的laion2b-en的子集，总共1500w张高清图片，但是效果没有SUPIR那么明显的提升，我觉得原因可能是：1）SD v2.1的生成能力有限 2）数据集不完整，存在bias，后续需要再仔细调整一下。你好，我想问下这1500w张高清图片时如何使用的呢，加入原图的尺寸比较大，假设是6000*4000，那么是将全图reszie之后，再crop成512的分辨率吗，还是说，全图的尺寸不做缩放，直接在其中随机crop出来512分辨率的小块进行训练呢？

使用更大规模的数据训练，会有更好的效果吗？

> > > 你好，SUPIR我不是很了解，你可以询问SUPIR的作者来获取准确的回答~。关于DiffBIR，我们昨天更新了一版模型，训练数据用的是过滤（比较粗糙）之后的laion2b-en的子集，总共1500w张高清图片，但是效果没有SUPIR那么明显的提升，我觉得原因可能是：1）SD v2.1的生成能力有限 2）数据集不完整，存在bias，后续需要再仔细调整一下。 > > > > > > 你好，我想问下这1500w张高清图片时如何使用的呢，加入原图的尺寸比较大，假设是6000*4000，那么是将全图reszie之后，再crop成512的分辨率吗，还是说，全图的尺寸不做缩放，直接在其中随机crop出来512分辨率的小块进行训练呢？ > > 你好。我们是直接随机裁剪512的patch来训练的，使用的函数是[random_crop_arr](https://github.com/openai/guided-diffusion/blob/22e0df8183507e13a7813f8d38d51b072ca1e67c/guided_diffusion/image_datasets.py#L146)，将min_crop_frac设置为0.7。不过我们训练集的图片都没有到6000*4000这个级别，大部分应该是1000左右，所以crop出来的图像还是有一定内容的。如果图片特别大的话，直接裁剪512的patch可能语义信息比较弱，不能充分使用SD的生成能力（猜测，未经实验验证）。那比如说我从一些网站上下载了很多高质量图，比如pexels之类的，图像原本的分辨率都是很大的单反图，这种图像，怎样利用才能发挥出更大的价值呢。

使用更大规模的数据训练，会有更好的效果吗？

还有个疑问是，网络上的高清数据，如果是单反相机拍摄的话，就会存在很多背景虚化的图像，这种图像，是不是也不应该包含在训练集中，会影响到模型的学习

使用更大规模的数据训练，会有更好的效果吗？

> > 还有个疑问是，网络上的高清数据，如果是单反相机拍摄的话，就会存在很多背景虚化的图像，这种图像，是不是也不应该包含在训练集中，会影响到模型的学习 > > 你可以自己实验一下，我是用diffusers复现然后8*a100自训的sd1.5版本supir。数据集大概30m左右，很多单反的背景模糊图像。初期在1.5w次iter之前是会有部分部位模糊的现象，但是到1.5w之后整个模型就收敛了，不会出现局部模糊的情况 > > 贴一个效果图 ![1](https://private-user-images.githubusercontent.com/61224076/326318039-aae5112f-b9c8-40d6-8fff-f07d1d126552.jpg?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTQzNTg2MzMsIm5iZiI6MTcxNDM1ODMzMywicGF0aCI6Ii82MTIyNDA3Ni8zMjYzMTgwMzktYWFlNTExMmYtYjljOC00MGQ2LThmZmYtZjA3ZDFkMTI2NTUyLmpwZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA0MjklMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNDI5VDAyMzg1M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTA5ZWFjNTI1MTAwZjRkYWJkMjliOTBhY2FiZDBkNTNlOGViNGNkMjhlZmNkNWU5M2NkYWE2YTI3NWFiZjcwNTImWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.IDi9Wrus8rmFU4O8G1NLbpAqEHq5th9PS6eM5V2aL70) > > ![elephant_input](https://private-user-images.githubusercontent.com/61224076/326318239-1bd848dc-79e2-4edb-b625-9684492f27cc.jpg?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTQzNTg2MzMsIm5iZiI6MTcxNDM1ODMzMywicGF0aCI6Ii82MTIyNDA3Ni8zMjYzMTgyMzktMWJkODQ4ZGMtNzllMi00ZWRiLWI2MjUtOTY4NDQ5MmYyN2NjLmpwZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA0MjklMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNDI5VDAyMzg1M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTA5MWYxNWY2YzhlYWVkZGRjNGJlYTg0NTc5MDRiZTAyZGNkMzRhZjA3NDlmMmExMjgyOWYyZmI5NWI1OWM4NjYmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.c8Gr31C0lA-btcRdn9msMuUFT1sghT8-pOrZqLXNRyM) 你也是从原始图像中，随机裁剪出512的区域训练吗，基本能保证每次裁剪都包含图像的主体部分对吗？