FSGAN icon indicating copy to clipboard operation
FSGAN copied to clipboard

请问数据预处理部分是无法打开了嘛

Open NENUQianWeijie opened this issue 1 year ago • 12 comments

NENUQianWeijie avatar May 07 '24 12:05 NENUQianWeijie

Sorry, 貌似确实是没有那个文件. 之前的预处理是根据APDrawingGAN来的, 但是使用了自己写的更方便的代码脚本 (更新的开源repo, 更新的torch版本, ...) README里已经更新啦, 链接导向APDrawingGAN的preproc说明以及我们google-drive上的预处理代码 (MTCNN for key points + U-2-Net for human segmentation).

ZhengPeng7 avatar May 07 '24 14:05 ZhengPeng7

非常感谢您的回复,我先尝试一下制作自己的数据集

NENUQianWeijie avatar May 07 '24 15:05 NENUQianWeijie

好的, mtcnn是有notebook, u-2-net是用的官方的 只有.py. 有问题欢迎继续留言.

ZhengPeng7 avatar May 07 '24 23:05 ZhengPeng7

非常感谢您的回复,请问论文中的损失函数都对应的是代码的哪里呢,运行日志也有很多损失值,这些损失值和论文中的损失是怎么对应的呢,期待收到您的回复

NENUQianWeijie avatar May 08 '24 11:05 NENUQianWeijie

b027d51e472d6b353a202108ae6b94f

NENUQianWeijie avatar May 08 '24 11:05 NENUQianWeijie

我刚刚去搜了下代码, 你可以看看这里将每个放入log的代码, 应该能明白一些. 大致来讲, G/D就是generator/discriminator, 而模型从global face和local patch两个level去生成, 因而又相对应的[G/D]-loss, 所以基本就是[G/D] X [Global/Local] 两两组和, 以及[real/fake], G_VGG应该是直接从APDrawingGAN里延用的perceptual loss. 说实话, 有点太久远了, 而且很多基础工作是Zilin Huang博士完成的, 你也可以发邮件问问她.

ZhengPeng7 avatar May 08 '24 12:05 ZhengPeng7

感谢您的回复,可以再问您一下global face和local patch分别对应模型的哪个部分嘛,感谢感谢

NENUQianWeijie avatar May 08 '24 16:05 NENUQianWeijie

就是针对整张face图和不同RoI的patch, MTCNN就是用来提取key point从而切出这些patch的.

ZhengPeng7 avatar May 09 '24 00:05 ZhengPeng7

感谢您的回复,请问制作数据集时,json文件要怎么得到呢

NENUQianWeijie avatar May 09 '24 12:05 NENUQianWeijie

请问是指类似FS2K/anno_test.json吗? 这个是手动标注的, 但当时我记得我是写了个小程序, 来进行list类型的数据: skin_color, lip_color等的搜集 -- 比如matplotlib弄个鼠标点击交互程序, 点一下就采样这个区域周围NxN个像素的均值. bool类型的数据的话 (stle, simle, ...), 就是手动在json文件里标的, 当时没有用什么更方便的方法.

ZhengPeng7 avatar May 10 '24 02:05 ZhengPeng7

感谢您的回复,我正在制作CUFSF数据集的标签,请问是否可以不使用这个json文件训练模型呢

NENUQianWeijie avatar May 10 '24 05:05 NENUQianWeijie

都对应上应该是可以的. 但如果有的值没有对应存在, 比如style之类的, 你要小心处理.

ZhengPeng7 avatar May 10 '24 09:05 ZhengPeng7

如果有新问题, 欢迎reopen.

ZhengPeng7 avatar May 22 '24 04:05 ZhengPeng7